R web scraping новостного сайта: как тянуть основное содержание

Question

У меня есть код ниже. Он идет на 3 отдельные страницы новостей и тянет их содержание. Но для каждой страницы я должен искать другой настраиваемый тег html.

1. Есть ли способ получить информацию с любой страницы новостей, выполнив поиск всего за 1 тег? Это позволит мне, чтобы очистить информацию от многих страниц
2. Как я поиск по тегам, соответствующих определенным критериям: для например html_nodes like ("#main*") или html_nodes like ("*main*")

library(MASS) # base R

library(XML) 
library(xml2) 
library(rvest) # R web scraping 


    # get the page using rvest fcns 
    page2 <- read_html("http://seekingalpha.com/article/3974491-3-things-will-save-intels-future"); 

     page.all2 <- page2 %>% 
     html_nodes("#main_container") %>% 
     #html_nodes(class="*main*") %>% 
     html_text() 
    page.all2 

    page5 <- read_html("http://www.fool.com/investing/general/2016/05/09/intel-corporations-strange-choice.aspx"); 
    page.all5 <- page5 %>% 
     html_nodes("#article-1") %>% 
     html_text() 
     page.all5 

    page1 <- read_html("http://www.valuewalk.com/2016/05/intel-no-2-explains-company-headed/ "); 
    page.all1 <- page1 %>% 
     html_nodes("#main") %>% 
     html_text() 
    page.all1 

    # get a URL (1 URL per row in column link); 

Answer 1

Учитывая

html <- ' 
<div class="pain">A</div> 
<div class="pain">B</div> 
<div class="mainer">C</div> 
<div class="emainer">D</div>' 

вы можете сделать например

# all tags of class 'pain' 
read_html(html) %>% xml_nodes(xpath="//*[@class='pain']") 
# {xml_nodeset (2)} 
# [1] <div class="pain">A</div> 
# [2] <div class="pain">B</div> 

# All DIV tags, where class names start with 'main' 
read_html(html) %>% xml_nodes(xpath="//div[starts-with(@class, 'main')]") 
# {xml_nodeset (1)} 
# [1] <div class="mainer">C</div> 

# All DIV tags, where class names contain 'main' 
read_html(html) %>% xml_nodes(xpath="//div[contains(@class, 'main')]") 
# {xml_nodeset (2)} 
# [1] <div class="mainer">C</div> 
# [2] <div class="emainer">D</div>