2016-08-23 3 views
0

Привет, я новичок в Python, и я просматриваю веб-страницу.Веб-скребок Python с использованием расширения Google Chrome

Я использую расширение разработчика Google Chrome для определения класса объектов, которые я хочу очистить. Однако мой код возвращает пустой массив результатов, тогда как скриншоты ясно показывают, что эти строки находятся в HTML-коде. Chrome Developer

import requests 
from bs4 import BeautifulSoup 

    url = 'http://www.momondo.de/flightsearch/?Search=true&TripType=2&SegNo=2&SO0=BOS&SD0=LON&SDP0=07-09-2016&SO1=LON&SD1=BOS&SDP1=12-09-2016&AD=1&TK=ECO&DO=false&NA=false' 
    html = requests.get(url) 
    soup = BeautifulSoup(html.text,"lxml") 
    x = soup.find_all("span", {"class":"value"}) 
    print(x) 
    #pprint.pprint (soup.div) 

Я очень высоко оценивая вашу помощь!

Большое спасибо!

+0

Убедитесь, что данные, которые вы ожидаете, на самом деле там. Используйте '' ' print (soup.prettify())' '', чтобы увидеть, что было фактически возвращено из запроса. В зависимости от того, как работает сайт, данные, которые вы ищете, могут существовать только в браузере после обработки javascript. Вы также можете взглянуть на селен – WombatPM

ответ

0

Converted мой комментарий к ответу ...

Убедитесь, что данные, которые вы ожидаете там на самом деле. Используйте print(soup.prettify()), чтобы узнать, что действительно было возвращено из запроса. В зависимости от того, как работает сайт, данные, которые вы ищете, могут существовать только в браузере после обработки javascript. Вы также можете посмотреть на selenium

Смежные вопросы