Зачистка данных с веб-страницы с использованием BeautifulSoup возвращает None

Question

Я новичок в этом .. К примеру, я не пытаюсь царапать что-то вроде этого (номер 24)

<td class="score part"> <span class="p1_home>24</span></td> 

но мой код:

from bs4 import BeautifulSoup 
import requests 

html = requests.get("http://www.rezultati.com/utakmica/jLRSI3m9/#detalji") 

soup = BeautifulSoup(html.text,'html.parser') 

data2 = soup.find('td',{'class':'score part'}) 

print(data2) 

не дает мне

Где я был не так?

Answer 1

У вас была идея правильно, но этот веб-сайт, я думаю, реализовал какой-то javascript, чтобы скрыть ценности, чтобы удержать таких людей, как вы, от соскабливания их сайта. Попробуйте использовать селен, поскольку он может царапать веб-сайт, как это видел бы человек. Дайте мне знать, если вам нужна дополнительная информация.

Answer 2

Как уже упоминалось, gyger, таблица загружается через вызов ajax. Использование http-библиотек (запросов, urllib, pycurl, ...) может быть очень затруднено или невозможно использовать для очистки этого сайта. Вы должны уметь поддерживать javascript, альтернативой селену может быть spynner.

Answer 3

Я решил проблему, спасибо за вашу помощь

from selenium import webdriver 
driver = webdriver.Chrome() 

driver.get("http://www.rezultati.com/utakmica/jLRSI3m9/#detalji") 

posts = driver.find_elements_by_class_name("p1_home") 
for post in posts: 
    print(post.text)