Looping скребок

Question

Я пытаюсь получить данные обо всех играх команды в обычном сезоне, очищенном от http://www.basketball-reference.com/boxscores/201112250DAL.html. Я получил все другие функции фермизации данных, которые работают нормально, проблема заключается в том, что я скребок скребок. Это тестовый код, который я использовал для получения URL-адреса следующей страницы. Я мог бы использовать это, чтобы получить данные из всех 66 игр, которые команда играла в течение регулярного сезона, но это много набирает, чтобы очистить его таким образом. Каким будет самое простое решение для автоматизации этого?

Спасибо!

URL = "http://www.basketball-reference.com/boxscores/201112250DAL.html" 

html = urlopen(URL).read() 
soup = BeautifulSoup(html) 

def getLink(html, soup): 
    links = soup.findAll('a', attrs={'class': 'bold_text'}) 
    if len(links) == 2: 
     a = links[0] 
     a = str(a) 
     a = a[37:51] 
     return a 
    if len(links) == 3: 
     a = links[1] 
     a = str(a) 
     a = a[37:51] 
     return a 
    if len(links) == 4: 
     a = links[3] 
     a = str(a) 
     a = a[37:51] 
     return a 

print getLink(html, soup) 
URL1 = "http://www.basketball-reference.com/boxscores" + getLink(html, soup) + "html" 
print URL1 
html1 = urlopen(URL1).read() 
soup1 = BeautifulSoup(html1) 

print getLink(html1, soup1) 

Answer 1

Проще всего было бы пойти в http://www.basketball-reference.com/teams/DAL/2012_games.html и сделать что-то вроде этого:

URL = 'http://www.basketball-reference.com/teams/DAL/2012_games.html' 
html = urllib.urlopen(URL).read() 
soup = BeautifulSoup(html) 

links = soup.findAll('a',text='Box Score') 

Это возвращает список всех <a> тегов с текстом «Box Score». Проверьте это с этим:

for link in links: 
    print link.parent['href'] 
    page_url = 'http://www.basketball-reference.com' + link.parent['href'] 

Отсюда, сделать еще один запрос на page_url и продолжить кодирование.

Это весь код, который я использовал, и он работал отлично для меня:

from BeautifulSoup import BeautifulSoup 
import urllib 


url = 'http://www.basketball-reference.com/teams/DAL/2012_games.html' 
file_pointer = urllib.urlopen(url) 
soup = BeautifulSoup(file_pointer) 

links = soup.findAll('a',text='Box Score') 
for link in links: 
    print link.parent['href'] 

Answer 2

Самый простой Проще всего было бы использовать scrapy. Какие последующие ссылки для вас автоматически.

Это позволяет вам легко создавать сложные правила, по которым следует следовать и игнорировать URL-адреса. Затем Scrapy выполнит любой URL-адрес, соответствующий вашим правилам. Это требует, чтобы вы узнали, как работает scrapy, но они обеспечивают отличный быстрый учебник о том, как начать работу.