Exlcuding один сайт на общий VPS

Question

У меня есть сервер с несколькими сайтами, из которых я хочу заблокировать только один. Я знаю, что robots.txt принимает следующее:

User-agent: * 
Disallow:/

Чтобы блокировать ботов сканирование сайта, но есть неоднозначный язык в статьях, которые я прочитал. Некоторые говорят, что это заблокирует сайт, некоторые говорят, что сервер.

Если это находится в корневом каталоге сайта, будет ли он блокировать сайт? Есть ли более эффективная практика для этого?

Answer 1

Данный файл robots.txt контролирует только обход страниц в домене и поддомене, из которого он был запрошен. Сканер не знает и не заботится о том, размещены ли на одном физическом сервере разные домены. Они все еще разные области. Файл http://aaa.com/robots.txt относится только к страницам http://aaa.com/, а http://bbb.com/robots.txt относится только к страницам http://bbb.com/. Они могут размещаться на одной физической машине или на разных серверах по разные стороны мира.