Как использовать self.crawler.engine.pause() от промежуточного программного обеспечения в scrapy

Question

Я пытаюсь приостановить работу механизма scrapy (работающего искателя) из промежуточного программного обеспечения.

, когда я пытаюсь вызвать self.crawler.engine.unpause() Я получаю эту ошибку:

объекта «cRetry» не имеет атрибута «искателю»

Это мой промежуточное программное обеспечение. Как я могу получить доступ к объекту искателя?

class cRetry(RetryMiddleware): 

    errorCounter = 0 


    def process_response(self, request, response, spider): 
     if response.status in self.retry_http_codes: 
      reason = response_status_message(response.status) 
      return self._retry(request, reason, spider) or response 
     elif "error" in response.body: 
      self.errorCounter = self.errorCounter + 1 
      if self.errorCounter >= 10: 
       self.crawler.engine.pause() 
       os.system("restart.sh") 
       print "Reset" 
       time.sleep(10) 
       self.crawler.engine.unpause() 
       self.errorCounter = 0 
      reason ="Restart Required" 
      return self._retry(request, reason, spider) or response 
     ### end 
     return response 

Answer 1

Из моего понимания, вы можете переопределить __init__ и from_crawler методы напоминают что-то вроде:

class cRetry(RetryMiddleware): 

    errorCounter = 0 

    def __init__(self, crawler): 
     super(cRetry, self).__init__(crawler.settings) 
     self.crawler = crawler 

    @classmethod 
    def from_crawler(cls, crawler): 
     return cls(crawler) 

    def process_response(self, request, response, spider): 
     # ... 

Подпись __init__ на самом деле, кажется, не имеет значения, то entry point for the main library всегда from_crawler(cls, crawler). Это class method и принимает имя класса в качестве первого аргумента (затем используя его для вызова конструктора).

Answer 2

Благодаря aufziehvogel :-)

Вы предложение работали с небольшим modifiction. @classmethod нужно добавить, тогда он работает как шарм.