Есть ли способ обхода сайта с формой POST?

Question

Я использую Python 3 и сканирую некоторые веб-сайты.

Пока форма находится в GET, я могу легко разобрать ссылку. Есть ли способ обхода для автоматической загрузки HTML, созданного после нажатия на форму, содержащую action = POST? (Г-н Google ничего ценного об этом не говорит ...)

Благодарности

Answer 1

Вы можете использовать рамки скребка Scrapy. Он позволяет соскабливать с помощью запросов POST. Хотя Scrapy можно использовать в Python2 (пока).

В документации по скрипированию содержится an example on how to scrape using POST requests.

Если ваша работа по очистке проста, вы можете использовать Requests library. Он позволяет POST-вызовы таким образом:

import requests 
r = requests.post("http://web-address.com", {'parameter': 'value'}) 
r.text