Я хотел бы знать, можно ли заблокировать всех роботов с моего сайта. У меня проблемы, потому что я перенаправляю exsample.com на www.exsample.com. Инструменты проверки robots.txt говорят, что у меня нет файла robots.txt на exsample.com, но он есть на www.exsample.com.Как отключить поисковые роботы от www.example.com и exsample.com
Надежда кто-то может помочь мне :)
просто сделать текстовый файл с именем robots.txt и в этом файле напишите следующее
User-agent: *
Disallow:/
и поместить его в папку WWW или папку public_html
это просило бы все поисковые системы запретить все содержимое веб-сайта, но не все поисковые системы были бы общими для этого протокола, но самые важные поисковые системы прочитали бы его и выполнили бы по вашему запросу
Robots.txt работает на хост.
Поэтому, если вы хотите блокировать URL-адреса на http://www.example.com, файл robots.txt должен быть доступен по адресу http://www.example.com/robots.txt.
Обратите внимание, что субдомен имеет значение, поэтому вы не можете блокировать URL-адреса на http://example.com с помощью файла robots.txt, доступного только на http://www.example.com/robots.txt.
Ха-ха, у меня было это за пределами моей публичной папки ... Не удалось ... Большое спасибо :) –