Можно ли использовать pyexecjs со скрипом?

Question

Я наткнулся на pyexecjs некоторое время назад, и мне было интересно, можно ли его использовать с помощью scrapy для сканирования данных, созданных JS. https://github.com/doloopwhile/PyExecJS

Я проверил примеры использования библиотеки, но не уверен, как я могу интегрировать ее с помощью scrapy.

Answer 1

Я настоятельно рекомендую вам попробовать селен с PhantomJS. Вот пример кода.

from selenium import webdriver 

url = "http://www.taobao.com/" 
browser = webdriver.PhantomJS() 
browser.get(url) 
input = browser.find_element_by_xpath("//input[@id='q']") 
bnt = browser.find_element_by_xpath("//button[@class='btn-search']") 
input.send_keys("watch") 
bnt.submit() 

Для получения дополнительной информации о API, пожалуйста, обратитесь к WebDriver API Что касается как интегрировать селен с Scrapy, мой совет является встраивание его в функции разбора из вас паука. Например: