Как узнать scrapy-redis finsh

Question

Когда я использую scrapy-redis, который установит spider DontCloseSpider. Как узнать, что нужно пройти по скайпу.

crawler.signals.connect (ext.spider_closed, сигнал = signals.spider_closed) не работает

Answer 1

Интересно.

Я вижу этот комментарий:

# Max idle time to prevent the spider from being closed when distributed crawling. 
# This only works if queue class is SpiderQueue or SpiderStack, 
# and may also block the same time when your spider start at the first time (because the queue is empty). 
SCHEDULER_IDLE_BEFORE_CLOSE = 10 

Если вы будете следовать инструкциям по установке правильно, и это не работает, я думаю, что по крайней мере, вы должны дать некоторые данные, которые позволяют воспроизводить вашу установку, например, ваши settings.py или если у вас есть интересные пауки/конвейеры.

spider_closed Сигнал действительно должен произойти. Всего через несколько секунд после истечения URL-адресов в очереди. Если очередь не пуста, паук не закрывается - очевидно.