не удается очистить всю страницу

Question

Код проходит через страницу, но не полностью проходит через всю страницу, останавливаясь обычно на 6 или 7 гонке на собрании в гонке. Может кто-нибудь предложить, почему BS здесь не работает. является URL http://www.gbgb.org.uk/resultsMeeting.aspx?id=135549

from urllib import urlopen 
from bs4 import BeautifulSoup 
baseURL = 'http://www.gbgb.org.uk/resultsMeeting.aspx?id=135549' 
html = urlopen(baseURL) 
bsObj = BeautifulSoup(html, 'lxml') 

nameList = bsObj.findAll("div", {"class": "resultsBlockHeader"}) 
for i in nameList: 


nameList1 = i.findAll("div", {"class": "track"}) 
for j in nameList1: 
    print(j.get_text()) 

nameList1 = i.findAll("div", {"class": "date"}) 
for j in nameList1: 
    print(j.get_text()) 

nameList1 = i.findAll("div", {"class": "datetime"}) 
for j in nameList1: 
    print(j.get_text()) 

nameList1 = i.findAll("div", {"class": "grade"}) 
for j in nameList1: 
    print(j.get_text()) 

nameList1 = i.findAll("div", {"class": "distance"}) 
for j in nameList1: 
    print(j.get_text()) 

nameList1 = i.findAll("div", {"class": "prizes"}) 
for j in nameList1: 
    print(j.get_text()) 

nameList = bsObj.findAll("div", {"class": "resultsBlock"}) 
for i in nameList: 

nameList2 = i.findAll("li", {"class": "trap"}) 
for j in nameList2: 
    print(j.get_text()) 

nameList2 = i.findAll("li", {"class": "first essential fin"}) 
for j in nameList2: 
    print(j.get_text()) 

nameList2 = i.findAll("li", {"class": "essential greyhound"}) 
for j in nameList2: 
    print(j.get_text()) 

nameList2 = i.findAll("li", {"class": "sp"}) 
for j in nameList2: 
    print(j.get_text()) 

nameList2 = i.findAll("li", {"class": "timeSec"}) 
for j in nameList2: 
    print(j.get_text()) 

nameList2 = i.findAll("li", {"class": "timeDistance"}) 
for j in nameList2: 
    print(j.get_text()) 

питон веб-соскоб BS4

Answer 1

я не мог получить свой код работает, как показано. Однако, используя

from urllib.request import urlopen 

я смог запустить остальную часть кода просто отлично, после исправления каких-либо отступов. Обратите внимание на .request.

Я вижу 13 результатов гонки на веб-странице, когда я пользуюсь браузером, и я получаю 13 результатов гонки, используя ваш код BS.

Ваш код BS работает. Поэтому нам просто нужно рассмотреть любые проблемы до вызова BS. И единственной возможной причиной возникновения проблемы является html = urlopen(baseURL). Возможно, вы имеете дело с некоторыми проблемами с подключением.

Я предполагаю, что вы дважды проверяете, что публично представлено на веб-странице, верно? Я подозреваю, что количество гонок меняется со временем, поэтому получение 6 или 7 результатов может быть всем из них.

Answer 2

Код работает для меня после исправления нескольких мелких проблем с отступом.