Есть ли способ заставить паука замедлить его пауки веб-сайта? Все, что может быть помещено в заголовки или robots.txt?Замедление паука сайта
Мне показалось, что я помню, как читал что-то об этом, но ничего не могу найти.
Если вы имеете в виду Google, вы можете ограничить скорость, с которой Google использует ваш сайт, используя свою учетную запись Google для веб-мастеров (Google Webmaster Tools).
Существует также это, что вы можете поместить в robots.txt
User-agent: *
Crawl-delay: 10
Если задержка ползать указан как количество секунд между каждой страницы ползти. Конечно, как и все остальное в robots.txt, искатель должен его уважать, поэтому YMMV.
Я не думаю, что роботы будут делать что-либо, кроме разрешения или запрета. Большинство поисковых систем позволят вам настроить, как они индексируют ваш сайт.
Если у вас есть конкретный агент, который вызывает проблемы, вы можете либо блокировать его специально, или если вы можете настроить его.
Beyond с помощью инструментов Google для веб-мастеров для Googlebot (см ответ Роберт Харви «s), Yahoo! и Bing поддерживают нестандартную Crawl-delay директиву robots.txt:
http://en.wikipedia.org/wiki/Robots.txt#Nonstandard_extensions
Когда дело доходит до драки, однако, плохой бот, который захлопывает ваш сайт, просто должен быть заблокирован на более высоком уровне (например, балансировщик нагрузки, маршрутизатор, кеширующий прокси, что подходит для вашей архитектуры).
См. Throttling your web server для решения с использованием Perl. Рэндал Шварц сказал, что он пережил атаку Slashdot, используя это решение.
Почему вы хотите замедлить его? –