Как определить запросы прокси?

Question

Я знаю, что это популярный вопрос, и я прочитал все его темы. Я хочу задать мне вопрос в этом вопросе.

Цель: Определять прокси-сервер, если пользователь использовать его

Причина: Если пользователь использует прокси-сервер не показывает гео Adv. Мне нужно знать результат bool.

Решение: 1. Использовать базу данных прокси-IP (например: MaxMind); 2. Проверьте заголовок Connection: keep-alive, потому что дешевый прокси не использует постоянное соединение. Но все современные браузеры используют его; 3. Проверьте другие популярные заголовки; 4. Используйте JS для обнаружения веб-прокси, используя браузер и хост.

Вопросы: 1. Посоветуйте базу данных, я прочитал о MaxMind, но некоторые люди написали, что это не эффективно. 2. Проверьте соединительный разъем. Это окая? 3. Может быть, я что-то пропустил?

PS/Извините за мой английский ... Я изучаю его.

Answer 1

1. Вы можете оценить базу данных IP2Proxy, которая обновляется ежедневно. Он обнаруживает открытый прокси-сервер, веб-прокси, Tor и VPN. https://www.ip2location.com/databases/px2-ip-proxytype-country

2. Проверьте, что заголовок соединения не соответствует типам прокси-сервера, таким как VPN.

3. Контрольные заголовки легко побеждаются. Прокси-сервер нового поколения будет пытаться использовать методы обнаружения более старшего поколения.

Основываясь на нашем опыте, лучший метод определения прокси-сервера основан на точном черном списке.

Answer 2

Лучший способ - использовать API. Вы можете использовать базу данных от MaxMind, но тогда вам нужно продолжать загрузку этой базы данных и следить за тем, чтобы данные были обновлены ими. И, как вы сказали, есть вопросы о точности данных MaxMind.

Лично я бы порекомендовал вас попробовать https://proxycheck.io, полное раскрытие которого - это мой собственный сайт, вы получаете полный доступ ко всему бесплатно, высокопрофессиональное обнаружение прокси и блокирование с 1000 ежедневными запросами.

Answer 3

Вариант 1, который вы предложили, является лучшим вариантом. Обнаружение прокси-сервера может быть трудоемким и сложным.

Как вы упомянули maxmind и ваша забота об эффективности, существуют и другие доступные API, такие как GetIPIntel. Он бесплатный и очень прост в использовании. Они выходят за рамки простых черных списков и используют машинное обучение и алгоритмы теории вероятности для определения значения вероятности и делают вещи очень точными.

Вариант 2, который вы упомянули, не повредит для реализации, если вы не получите много ложных срабатываний. Вариант 3-4 не должен использоваться один, потому что его легко обойти. Все действия браузера могут быть автоматизированы и только потому, что кто-то использует прокси-сервер, это не значит, что они не используют настоящий браузер.