Прошу вас, со мной, я совершенно новый для веб-соскабливания! Я хочу соскоблить все данные exit poll с этой веб-страницы CNN http://www.cnn.com/election/results/exit-polls для этого вопроса. Я просто попрошу очистить первый опрос на выход, гендерный. код ниже ничего не печатает. что я делаю неправильно? не перебирать все теги?Python Beautiful Soup web scraping Результаты выборов в CNN
import urllib2
from bs4 import BeautifulSoup
html = urllib2.urlopen('http://www.cnn.com/election/results/exit-polls').read()
soup = BeautifulSoup(html)
table = soup.find("div",{"class":"exit-poll__question"})
print table
BeautifulSoup не может получить эту информацию, поскольку информация загружается с использованием Javascript. –
ahh, так что мне нужно использовать? – ziggy
Посмотрите на что-то вроде [dryscrape] (https://github.com/niklasb/dryscrape). Вот хороший пример использования [здесь] (http://stackoverflow.com/a/26440563/7090605). –