2016-12-16 2 views
0

У меня есть паук, который я использую, чтобы сканировать сайт. Мне нужен только javascript для одной части моего предмета. Поэтому я царапаю часть сайта с помощью scrapy, затем открываю URL-адрес в селене. Пока URL-адрес начинается, возобновление сеанса продолжается. Как мне заставить scrapy ждать моей логики селена, чтобы закончить?Scrapy and Selenium: сделать щадящее ожидание селена?

Заранее спасибо.

+0

Я изучаю, какие сигналы я могу дать селену, когда все будет сделано, а затем выполните сигнал, если у кого есть какие-либо указания. Thx – eusid

+0

На какой странице вы пытаетесь очистить? – rongon

ответ

0

Вы можете использовать DOWNLOAD_DELAY = 0.25 в settings.py, что загрузчик должен ждать перед загрузкой последовательных страниц с одного и того же веб-сайта.

Другой способ использования time.sleep() для отсрочки паука, чтобы получить ответ от селена.