Получение необходимых ключей для приложения/x-www-form-urlencoded

Question

Я использую механизацию для заполнения формы с веб-сайта, но теперь это изменилось, и некоторые из необходимых полей выглядят скрытыми и не могут быть доступны с помощью механизации больше - при печати всех доступных форм. Я предполагаю, что он был изменен для использования более современных методов (application/x-www-form-urlencoded), но я не нашел способ обновить свой скрипт, чтобы продолжить использование этой формы программно.

Из того, что я прочитал, я могу отправить диктовку (пару ключ/значение) в кнопку отправки напрямую, а не заполнять форму в первую очередь - пожалуйста, исправьте меня, если я ошибаюсь. НО Я не смог найти способ получить ключи, которые необходимы ...

Я бы очень оценил это, если бы кто-то мог указать мне в правильном направлении или поставить меня прямо на случай, если это невозможно.

Answer 1

Вы не можете при любых обстоятельствах извлекать все поля, которые ожидает сервер.

Почтовый адрес, код обработки POST, является черным ящиком. Вы не можете заглянуть внутрь кода, который запускается сервером. Самая лучшая информация, которую вы знаете о том, что она ожидает, - это то, что первоначальная форма сообщает вашему браузеру о публикации. Эта оригинальная форма состоит не только из HTML, но также из заголовков, которые были отправлены с ним (например, файлы cookie) и любого кода JavaScript, который выполняется браузером.

Во многих случаях достаточно разобрать HTML-код, отправленный для формы; это то, что делает Механизм (или недавняя более современная структура, например, robobrowser), а также небольшая обработка файлов cookie и включение типичных заголовков, таких как реферер. Но если какой-либо код JavaScript обрабатывает HTML или перехватывает отправку формы для добавления или удаления данных, тогда Механизм или другие парсители формы Python не могут реплицировать этот шаг.

Ваших вариантов затем являются:

• перепроектирует, что код Javascript делает и тиражировать, что в коде Python. Средства разработки вашего браузера могут помочь здесь; обратите внимание на то, что размещается на вкладке сети, например, или используйте отладчик для выполнения кода JavaScript, чтобы узнать, что он делает.

• Использование фактического браузера, управляемого Python. Селен мог сделать это за вас; он может управлять настольным браузером (Chrome, Firefox и т. д.), или его можно использовать для управления безгласной версией браузера, например, PhantomJS. Это тяжелее ресурсов, но на самом деле будет запускать код JavaScript и позволить вам публиковать форму так же, как и ваш браузер, по-любому.