сигнал работает только в основной теме

Question

Я новичок в django. Я пытаюсь запустить мой scrapy spider через представление django. Мой код scrapy отлично работает, когда я запускаю командную строку. но когда я пытаюсь запустить его на django, он терпит неудачу. Сообщение об ошибке: сигнал работает только в основном потоке.

мой код в представлении Джанго (Следующий)

from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.crawler import CrawlerProcess 
from scrapy import log, signals 
from Working.spiders.workSpider import WorkSpider 
from scrapy.settings import Settings 
from scrapy.utils.project import get_project_settings 

spider = WorkSpider(domain='scrapinghub.com') 
crawler = CrawlerProcess(Settings()) 
crawler.start() 
crawler.signals.connect(reactor.stop, signal=signals.spider_closed) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
reactor.run() 

Пожалуйста, помогите мне решить эту проблему. спасибо

Answer 1

ошибка в основном говорит о том, что вы не в основном потоке, поэтому сигнал не обрабатывается.

переход от CrawlerProcess к CrawlerRunner решить эту проблему для меня (я предполагаю, что в CrawlerRunner вы в основном потоке) http://doc.scrapy.org/en/latest/topics/api.html#scrapy.crawler.CrawlerRunner

надеюсь, что это поможет вам