Импорт заголовков и полезной нагрузки в Scrapy

Question

Я работал с firebug, и у меня есть следующие словари для запроса api.

payload = "{\"prefixText\":\"2261\",\"count\":\"10 \"}" 

headers = { 
'origin': "site.com", 
'x-requested-with': "XMLHttpRequest", 
'user-agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36", 
'content-type': "application/json; charset=UTF-8", 
'accept': "*/*", 
'referer': "***", 
'accept-encoding': "gzip, deflate", 
'accept-language': "en-US,en;q=0.8", 
'cookie': "ASP.NET_SessionId=tnrqoff2y; 
'cache-control': "no-cache" 
} 

с запросами питона, используя это так же просто, как:

response = requests.request("POST", url, data=payload, headers=headers) 

Как я могу использовать их в Scrapy? Я знаю, что это связано с промежуточным программным обеспечением, но я читал http://doc.scrapy.org/en/latest/topics/spider-middleware.html, и мне не ясно, как это сделать.

Answer 1

Scrapy не очень полезен только для «запросов», это модуль requests для. Scrapy - это обходная структура, используемая для создания пауков веб-сайтов и для этих пауков, необходимы правила запроса.

Во всяком случае, если вы создаете паук, и вам необходимо отправить POST запрос, вы можете сделать это следующим образом:

... 
yield Request(url, method="post", headers=dict(), body=body, callback=self.parse_method) 
... 

Я бы рекомендовал следующее первые this tutorial