Почему было бы непротиворечивое количество посетителей отсутствовать заголовки User-Agent?

Question

Недавно мы развернули мобильную версию нашего сайта, и часть этого развертывания включала проверку User-Agent, чтобы определить, какая версия должна доставляться конечному пользователю.

Каждую минуту или около того, так как мы выпустили, у нас была ошибка Elmah из исключения, которое было выброшено, когда User-Agent был пустым.

Мы уже исправили проблему на производстве, но мне любопытно, почему непропорциональный (но очень маленький) процент нашего трафика может не определяться User-Agent.

Answer 1

Это простая догадка, но это может исходит от ботов.

Существует огромное количество ботов (поисковых систем, бот-сетей и т. Д.), Которые постоянно сканируют веб-сайты и серверы для получения уязвимостей, паролей и т. Д. Иногда у них есть известный User-Agent, иногда нет.

Вы можете использовать службу CDN, такую ​​как CloudFlare, чтобы получить представление о том, сколько из этих запросов поступает от роботов (нет, я не работаю для этой компании), но используя их службы, я понял, насколько сильно загрязнена сеть ботами, статистика страшна).