Как запретить каталог в сервере с помощью файла robots.txt

Question

У меня есть два домена в том же сервере, и я хочу, чтобы запретить поисковым системам в одном из них:

www.example.com -> указывает на корень www.example.net -> указывая на каталог

Я добавил файл robots.txt в каталоге .net для Запрещает все для www.example.net как это:

User-agent: * 
Disallow:/

я делаю правильно? Я не разрешаю поисковые системы только в .net?

Answer 1

Как можно видеть на this page, да, вы делаете именно то, что нужно:

User-agent: * 
Disallow:/

Если два веб-сайта расположены в том же каталоге, что нет никакого способа, насколько я осознавая запрет robots.txt только для одного сайта. Однако, как заявляет одна и та же страница, это работает только с well behaved robots, что означает, что некоторые поисковые системы могут полностью отключить файл robots.txt.

Если вы действительно нужен .net быть защищены от поисковиков, то один верный способ сделать это, добавив имя пользователя и пароль защиты в .htaccess (любой пользователь, обращающийся к .net также будет иметь имя пользователя/пароль):

AuthType Basic 
AuthName "Password Protected Area" 
AuthUserFile /path/to/.htpasswd 
Require valid-user 

.htpasswd:

[user]:[password]