Xpath для элемента с данными-реактивами

Question

Я хочу скопировать http://www.spyfu.com/overview/url?query=http%3A%2F%2Fwww.veldemangroup.com%2Fen нахождение текстовых элементов под «органическими ключевыми словами», поэтому первым будет «структура склада».

Работает на python, используя scrapy и инструмент командной строки. Пытается:

response.xpath("//a[@data-reactid='.0.0.0.0.0.1.0.1.0']") 

только что возвращает «[]» - почему это так, как мне получить текст («структура склада»)?

Answer 1

Упомянутый вами сайт генерируется динамически только после ввода http://www.veldemangroup.com/en. Вы можете проверить, набрав scrapy shell http://www.spyfu.com/overview/url?query=http%3A%2F%2Fwww.veldemangroup.com%2Fen, а затем response.body, что есть много javascript, и селектор, который вы пытаетесь найти (или вообще другие), отсутствует, поэтому Scrapy не может найти его сам по себе.

Пожалуйста, попробуйте Selenium, это применит не простой запрос, как это делает scrapy. Firefox webdriver может читать сайт так, как это видит браузер.