Как установить файлы Robots.txt для поддоменов?

Question

У меня есть субдомен, например, blog.example.com, и я хочу, чтобы этот домен не индексировался Google или любой другой поисковой системой. Я положил файл robots.txt в папке «блога» на сервере с следующей конфигурацией:

User-agent: * 
Disallow:/

Было бы прекрасно, чтобы не индексировать по Google?

За несколько дней до моего сайта: blog.example.com показывает 931 ссылку, но теперь она отображает 1320 страниц. Мне интересно, правильный ли файл robots.txt, почему Google индексирует мой домен.

Если я что-то не так, пожалуйста, поправьте меня.

Answer 1

Рахул,

Не уверен, что, если ваш robots.txt дословно, но в целом директивы по двум линиям:

User-agent: * 
Disallow:/

Этот файл должен быть доступен из http://blog.example.com/robots.txt - если он не доступен из этот URL-адрес, поисковый робот не найдет его.

Если у вас есть страницы, которые уже были проиндексированы Google, вы также можете попробовать использовать Инструменты Google для веб-мастеров, чтобы вручную удалять страницы из индекса.