0
Я устал от bingbot, как бороться с этим роботом. он создает слишком сеанс.Как бороться с bingbot/2.0
Я делаю это в ht доступ: мнение?
#bingbot create too session
RewriteCond %{HTTP_USER_AGENT} ^bingbot/.* [OR,NC]
RewriteCond %{HTTP_USER_AGENT} bingbot [NC]
RewriteRule ^(.*)$ http://go.away/ [L]
не работает. Я удаляю свою сессию, свою статистику и 2 млн. После того, как у меня будет 32 бингбота. – Kurama
. Возможно, потребуется некоторое время для ботов, чтобы увидеть ваш robots.txt. . Чтобы проверить .htaccess, используйте переключатель user-agent. Вот список пользовательских агентов для пауков: http://www.useragentstring.com/pages/Crawlerlist/ Я сыграю с этим немного сегодня вечером. – drj
Я протестировал код htaccess со следующим инструментом и получил ошибку 403. https://www.xml-sitemaps.com/se-bot-simulator.html Возможно, что ваши журналы все еще попадают под это, если это то, что вы используете для тестирования. Bing, скорее всего, перестанет сканировать, если он получает постоянную 403. – drj