Я хочу заблокировать поисковые системы, такие как Google и Yahoo, от обхода пользовательских поддоменов, таких как user.example.com, как я могу это сделать?Как заблокировать поисковые системы от поиска sub.domains?
Используйте файл robots.txt на своем веб-сервере.
Так, в субдомена положить файл robots.txt, который выглядит следующим образом: есть что-то конкретно указанный
User-agent: *
Disallow:/
Должен ли я добавить имя поддомена в файл или то, что вы здесь положили. Могу ли я использовать disallow: все спасибо! – AAA
@AAA: Нет, все, что вам нужно, это выше ... Disallow all is в основном 'Disallow: /', поскольку он запрещает роботам посещать любую страницу из корневого каталога и вниз (все страницы). –
Отлично. Спасибо, Андрей. – AAA
Все сайты, потому что это то, что они не хотят сканироваться поисковыми системами ...
Этот вопрос не соответствует теме, поскольку он не находится в рамках обсуждения, как описано в справочном центре. – Will