Отправить запрос с помощью scrapy?

Question

Я пытаюсь извлечь некоторые данные из http://www.bcpa.com с помощью scrapy. У меня есть некоторые адреса, и я хочу извлечь из веб-сайта информацию, связанную с каждым из адресов, поэтому мне нужно «искать по адресу» через эти URL-адреса http://www.bcpa.net/RecAddr.asp

Я пробовал с 8433 в качестве номера улицы и LAKEVIEW as название улицы, и сайт перенаправляет меня на этот URL: http://www.bcpa.net/RecInfo.asp?URL_Folio=474128020500, который я хочу. Но, как вы можете видеть, информация, которую я использовал для поиска, не содержится в полученном URL-адресе. Я проверил страницу с инспектором, и я получаю что-то вроде этого:

Итак, я сделал запрос на запись с помощью Scrapy и передаем параметры следующим образом:

>>> from scrapy.http import FormRequest 
>>> form_data = {"Situs_Street_Number":"8433", "Situs_Street_Name":"LAKEVIEW"} 
>>> url = "http://www.bcpa.net/RecSearch.asp" 
>>> r = FormRequest(url, method = "POST", formdata = form_data) 
>>> fetch(r) 
2017-02-16 08:22:38 [scrapy.core.engine] INFO: Spider opened 
2017-02-16 08:22:40 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bcpa.net/robots.txt> (referer: None) 
2017-02-16 08:22:41 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET http://www.bcpa.net/RecMenu.asp> from <POST http://www.bcpa.net/RecSearch.asp> 
2017-02-16 08:22:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bcpa.net/RecMenu.asp> (referer: None) 
>>> 

Как вы можете см. Это не сработало, сайт перенаправляет меня на исходную страницу. Я не знаю почему. Есть идеи?

Answer 1

На вашей фотографии вы видите Request Headers?

Возможно, вам необходимо отправить те же заголовки вместе с запросом POST, и он должен работать.