Как заблокировать роботы без robots.txt

Question

Как известно, robots.txt помогает избежать индексирования определенных веб-страниц/секций веб-роботами/роботами. Но при использовании этого метода существуют определенные недостатки: 1. веб-сканеры могут не слушать файл robots.txt; 2. вы раскрываете папки, которые вы хотите защитить всем;

Существует еще один способ блокировки папок, которые вы хотите защитить от сканеров? Имейте в виду, что эти папки могут быть доступны из браузера (например,/admin).

Answer 1

Проверьте заголовок User-Agent на запросы и выдайте сообщение 403, если заголовок содержит имя робота. Это блокирует всех честных роботов, но не самых нечестных. Но опять же, если робот был действительно честным, он подчинялся бы robots.txt.