Как отслеживать состояние scrapy во время работы

Question

Я хочу знать, что происходит во время работы scrapy, как я могу контролировать статус?

Answer 1

Существует два метода. Первый метод - вот пример из официального документа.

telnet localhost 6023 
>>> est() 
Execution engine status 
time()-engine.start_time : 8.62972998619 
engine.has_capacity() :   False 
len(engine.downloader.active) :   16 
engine.scraper.is_idle() :  False 
engine.spider.name :  followall 
engine.spider_is_idle(engine.spider) :  False 
engine.slot.closing :  False 
len(engine.slot.inprogress) :  16 
len(engine.slot.scheduler.dqs or []) :  0 
len(engine.slot.scheduler.mqs) :  92 
len(engine.scraper.slot.queue) :  0 
len(engine.scraper.slot.active) :  0 
engine.scraper.slot.active_size :  0 
engine.scraper.slot.itemproc_size :   0 
engine.scraper.slot.needs_backout() : False 

Дополнительную информацию см. В официальном документе.

Второй способ кажется немного проще. Вы можете получить получить статус гусеничных по следующему методу:

self.crawler.stats.get_stats() 
or 
    spider.crawler.stats.get_stats() 

Так, просто распечатать статус, как вам нравится.