Отслеживание вызовов GET/POST

Question

Есть ли способ отслеживать все вызовы, сделанные веб-страницей при загрузке? Скажем, например, я зашел на сайт просмотра видео, я хотел бы проследить все вызовы GET рекурсивно, пока не найду файл mp4/flv. Я знаю способ сделать это, чтобы рекурсивно следовать URL-адресам, но это решение не всегда подходит и довольно ограничено (скажем, есть несколько тысяч ссылок или ссылки находятся в файле, который нельзя прочитать). Есть ли способ сделать это? В идеале реализация может быть в python, но PHP, а также C тоже отлично

Answer 1

Fiddler, который является очень хорошим прокси-сервером отладчика.

Answer 2

Существует несколько прокси (http://mitmproxy.org/ является популярным, мне очень нравится http://www.charlesproxy.com/), который может MITM соединение HTTPS.

Answer 3

Chrome предоставляет встроенный инструмент для просмотра сетевых подключений. Нажмите Ctrl + Shift + J, чтобы открыть консоль JavaScript. Затем откройте вкладку «Сеть», чтобы просмотреть все вызовы GET/POST.

Answer 4

Если вы используете FireFox или Chrome, вы можете просто использовать Инструменты разработчика и фильтровать все сетевые запросы с помощью «.mp4», например.

Или вы могли бы использовать WireShark и разместить подобный фильтр