Как получить статистические данные о пробках из конвейера

Question

Из scrapy api Я знаю, что искатель содержит атрибут статистики, но как я могу получить к нему доступ из настраиваемого конвейера?

class MyPipeline(object): 

    def __init__(self): 
     self.stats = ??? 

Answer 1

Ваш трубопровод является продолжением и вы хотите, чтобы иметь доступ к атрибуту stats. Расширение принимает объект Crawler через метод from_crawler(cls, crawler).

В общем, вы должны сделать что-то вроде

def __init__(self, stats): 
    self.stats = stats 

@classmethod 
def from_crawler(cls, crawler): 
    return cls(crawler.stats) 

http://scrapy.readthedocs.org/en/latest/topics/stats.html#topics-stats

Answer 2

также статистика доступна из spider.crawler, например (v1.1.0):

class ObjPipeline(object): 
    def process_item(self, item, spider): 
     spider.crawler.stats.inc_value('scraped_items') 
     ...