beautifulsoup find_all ошибка?

Question

В настоящее время я использую красивый суп для анализа страницы html. Но иногда результат, который я получил от find_all, меньше числа на страницах. Например, эта страница http://www.totallyfreestuff.com/index.asp?m=0&sb=1&p=5 имеет 18 заголовков. Но когда я использую следующие коды, у него просто два! Может ли кто-нибудь сказать мне, почему. Заранее спасибо!

soup = BeautifulSoup(page, 'html.parser') 
hrefDivList = soup.find_all("span", class_ = "headline") 
#print hrefDivList 
print len(hrefDivList) 

Answer 1

Вы можете попробовать использовать различный парсер для Beautifulsoup.

import requests 
from bs4 import BeautifulSoup 

url = "<your url>" 
r = requests.get(url) 

soup = BeautifulSoup(r.content, 'lxml') 
hrefDivList = soup.find_all("span", attrs={"class": "headline"}) 
print len(hrefDivList) 

Answer 2

Вы можете попробовать CSS селекторы, чтобы сделать вашу жизнь проще

hrefDivList = soup.select("span.headline") 
#print hrefDivList 
print len(hrefDivList) 

Или вы можете непосредственно перебрать каждый текст Span

for every_span in soup.select("span.headline"): 
    print(every_span.text)