Извлечение сетевых журналов с использованием Python

Question

Как правило, всякий раз, когда страница загружается, она отправляет несколько запросов, которые могут быть записаны на вкладке в инструментах для обработки хрома.

Мой основной мотив заключается в регистрации всех сетевых запросов при загрузке страницы с использованием сценария python. Образец скриншота прилагается, чтобы проиллюстрировать все запросы, которые я пытаюсь собрать.

Image for Network Hit Logs

Я пытаюсь добиться того же с помощью URLLIB библиотеки в Python, однако, я не совсем уверен в использовании.

Ждем ваших ответов. Заранее спасибо.

Answer 1

Вы не можете сделать это с помощью семейства библиотек urllib. Чтобы захватить запросы AJAX, вам нужно использовать что-то, что поддерживает Javascript ... как браузер.

Таким образом, ваш лучший вариант в этом случае - использовать Selenium для написания сценария, который использует Selenium Web Driver для управления любым браузером, который вы используете, а затем для захвата/регистрации выведенных запросов AJAX.