Scrapy CrawlSpider parse_item для ответа перенаправления 302

Question

Я использую Scrapy CrawlSpider для сканирования веб-сайтов и обработки их содержимого на странице. Для этого я использую Scrapy Docs Crawlspider Example.

Отдельная страница на ссылках принимает параметр target через запрос GET (скажем http://www.example.com?target=x) и перенаправляет (302), если значение является ошибочным. При получении этого ответа 302 HTTP, scrapy следует за перенаправлением, но не обрабатывает response в методе parse_item, как и предполагалось мной.

Я столкнулся с несколькими решениями, предлагающими meta/dont_redirect/http_status_list, но ни один из них не вступает в силу.

Пожалуйста, предложите, как я могу разобрать ответ перенаправления 302, без/до следующего в перенаправленном местоположении 302.

Scrapy версия: 0.24.6

Answer 1

Чтобы отключить переадресацию, вы должны добавить meta={'dont_redirect': True) своим Поддавшись scrapy.Request с.
так что ваш паук должен выглядеть примерно так:

import scrapy 
class MySpider(scrapy.Spider): 
    name = 'myspider' 
    start_urls = ['http://example.com',] 
    def start_requests(self): 
     for url in self.start_urls: 
      yield scrapy.Request(url, meta={'dont_redirect':True}) 

Что здесь происходит, что SCRAPY имеет загрузчик по умолчанию промежуточного программного обеспечения с названием RedirectMiddleware которая включена по умолчанию и обрабатывает все редиректы, поставляя эту мету аргумента вы рассказываете это промежуточное ПО, чтобы не выполнять эту работу для этого конкретного запроса.

если вы хотите отключить переадресацию для каждого запроса (который, как правило, не самая лучшая идея), вы можете просто добавить

REDIRECTS_ENABLED = False 

к вашему settings.py в Scrapy проекте.

Существует блестящая иллюстрация на Scrapy документы о том, как все Scrapy куски, как промежуточное программное и пауков, работают вместе: http://doc.scrapy.org/en/latest/topics/architecture.html