Bingbot очень сильно ударит по моему сайту в течение нескольких часов каждый день и будет очень легким в остальное время.Как предотвратить Bing от неправильной загрузки моего сайта с трафиком?
Я хотел бы либо сгладить его ползания, уменьшить его предел скорости, либо полностью заблокировать его. Он действительно не отправляется через реальных посетителей.
Есть ли способ, которым я могу сгладить его сканирование или ограничить его?
Вы можете запретить его IP-адрес с помощью HTACCESS.
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
Подробнее об этом вы можете найти здесь: Blog about bot blocking
У этого плохой побочный эффект: он снизит ваш пейджер – knocte
Их webmaster blog говорит, что они поддерживают добавление параметра ползать задержки в файле robots.txt задушить bingbot.
User-agent: msnbot
Crawl-delay: 1
Там немного больше объяснений в webmaster FAQ PDF
Эти другие ссылки могут быть полезны также:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
Вы можете ограничить количество соединений от искателя F.I. 5 путем установки IPTables (как это требует корневого доступа к брандмауэру):
установку IPTables: IPTables -I ВХОДА -p TCP -m connlimit --connlimit-выше 5 -j REJECT
Это ограничивает соединения с каждого IP-адреса не более чем на 5 одновременных подключений. Подобные соединения «пайки» и предотвращают одновременное попадание сканеров на сайт.
Вы уже добавили файл robots.txt в качестве тега. Разве это не делает трюк для вас? – EboMike