Веб-скребок для формирования базы данных новостей

Question

Я создаю веб-скребок для разных точек новостей. Я пытаюсь создать его для газеты The Hindu.

Я хочу получать новости из различных ссылок, упомянутых в его архивах. Допустим, я хочу получать новости по ссылкам, указанных на следующий день: http://www.thehindu.com/archive/web/2010/06/19/ что 19june, 2010.

Сейчас я написал следующие строки кода:

import mechanize 
from bs4 import BeautifulSoup 

url = "http://www.thehindu.com/archive/web/2010/06/19/" 

br = mechanize.Browser() 
htmltext = br.open(url).read() 

articletext = "" 
soup = BeautifulSoup(htmltext) 
for tag in soup.findAll('li', attrs={"data-section":"Business"}): 
    articletext += tag.contents[0] 
print articletext 

Но я не могу для получения требуемых результатов. Я в основном застрял. Может кто-нибудь помочь мне разобраться?

Answer 1

Попробуйте следующий код:

import mechanize 
from bs4 import BeautifulSoup 

url = "http://www.thehindu.com/archive/web/2010/06/19/" 

br = mechanize.Browser() 
htmltext = br.open(url).read() 

articletext = "" 
for tag_li in soup.findAll('li', attrs={"data-section":"Op-Ed"}): 
    for link in tag_li.findAll('a'): 
     urlnew = urlnew = link.get('href') 
     brnew = mechanize.Browser() 
     htmltextnew = brnew.open(urlnew).read()    
     articletext = "" 
     soupnew = BeautifulSoup(htmltextnew) 
     for tag in soupnew.findAll('p'): 
      articletext += tag.text 
     print re.sub('\s+', ' ', articletext, flags=re.M) 

driver.close() 

Для re вы, возможно, придется импортировать re модуль.

Answer 2

Я предлагаю вам проверить Scrapy. Попробуйте их учебник с параметрами и поэкспериментируйте с этим. Они имеют гораздо более развитую инфраструктуру сканирования в Интернете, чем модуль механизации.