Как разобрать динамически обновляемую форму .jsp с помощью механизации python?

Question

Я изучаю, как использовать Python Mechanize для очистки некоторых данных. По большей части он работает, но одна проблема, с которой я столкнулся, заключается в том, что страница .jsp, которую я ищу, обновляется динамически, вместо того, чтобы использовать кнопку «отправить».

Я бегу в двух взаимосвязанных вопросов в результате:

1) Есть несколько SelectControls мне нужно установить на этой странице. Элементы второго SelectControl не заполняются, пока я не установил первый SelectControl. Как обновить страницу с первым набором SelectControl до моего желаемого значения (в «реальном» окне браузера это происходит автоматически, когда я выбираю параметр из первого раскрывающегося списка). Я пробовал использовать методы response() и reload() для объекта браузера, но они стирают значение, присвоенное первому SelectControl.

2) Данные, которые я хотел бы очистить, отображаются динамически, когда заданы значения элемента управления SelectControl. Опять же, мне нужно как-то обновить браузер, чтобы отразить эти значения, но нет кнопки отправки.

Answer 1

Механизм не обрабатывает javascript, вы можете реплицировать то, что делает javascript (например, узнать возможные значения и построить/выбрать его вручную). См. Этот ответ для получения более подробной информации и альтернативного решения How to properly use mechanize to scrape AJAX sites