ТипError: принимает ровно 1 аргумент (0 задан) - Scrapy

Question

Я работаю со скрипом. Я хочу создать уникальный пользовательский агент для каждого запроса. У меня есть следующий:

class ContactSpider(Spider): 
    name = "contact" 

    def getAgent(self): 
     f = open('useragentstrings.txt') 
     agents = f.readlines() 
     return random.choice(agents).strip() 

    headers = {   
     'user-agent': getAgent(), 
     'content-type': "application/x-www-form-urlencoded", 
     'cache-control': "no-cache" 
    } 

    def parse(self, response): 
     open_in_browser(response) 

getAgent генерирует агент из списка формы:

"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" 

Однако, когда я запускаю это я получаю:

File "..spiders\contact_spider.py, line 35, in <module> 
    class ContactSpider(Spider): 
    File "..spiders\contact_spider.py", line 54, in ContactSpider 
    'user-agent': getAgent(), 
TypeError: getAgent() takes exactly 1 argument (0 given) 

Answer 1

getAgent() является экземпляром метод и ожидает увидеть пример ContactSpider в качестве аргумента. Но, проблема в том, что вам не нужно эту функцию, чтобы быть членом вашего класса паука - переместить его в отдельный «помощников»/«Utils» и модуль импорта/«ЛИЭС»:

from helpers import getAgent 

class ContactSpider(Spider): 
    name = "contact" 

    headers = {   
     'user-agent': getAgent(), 
     'content-type': "application/x-www-form-urlencoded", 
     'cache-control': "no-cache" 
    } 

    def parse(self, response): 
     open_in_browser(response) 

См также: Difference between Class and Instance methods.

---

Или, в качестве альтернативного подхода, существует scrapy-fake-user-agent Scrapy промежуточного слоя, который будет вращать ПАгент легко и случайным образом. Строки User Agent предоставляются fake-useragent module.