Как сканировать веб-сайт, который использует файлы cookie при интеграции IP-прокси?

Question

Я создаю искатель, который использует несколько IP-прокси. Всякий раз, когда я пытался обходить сайт без прокси-сервера, я могу получить источник html, но когда я пытался включить прокси-сервер ip, он всегда терпит неудачу и выдает исключения (удаленный сервер возвратил ошибку: (403) Запрещено.)

При взгляде на скрипач, кажется, сайт хранит куки при посещении. Но если прокси-сервер включен, он не может получить ответную часть.

Я не понимаю, почему файлы cookie не были установлены с использованием прокси-сервера? Являются ли это параметрами прокси-сервера для файлов cookie, которые его вызывают? или я могу что-то с этим поделать, все еще поддерживая прокси-сервер?

Я использую C#, кстати, но вопрос не кажется зависящим от языка.

Answer 1

Еще одна вещь, которую следует учитывать, заключается в том, что вы установили cookie из ip-адреса не прокси-сервера (который работал), а затем, когда вы отправили другой запрос с тем же файлом cookie из другого IP-адреса, который мог быть заблокирован.

Некоторое программное обеспечение на сетевом уровне просматривает такие вещи, которые могли бы помечать вас как вредоносный сканер или браузер анонимного браузера.