Как предотвратить индексирование сайта разработки?

В настоящее время мой сайт разработки индексируется через SERP. Я хочу предотвратить это. Я подумал, что вы можете включить тег: , который не сможет остановить его и следить за ним. Должно ли это быть на каждой странице ASP.NET? Определенная страница? любая страница, использующая метатег? Сайт чрезвычайно велик, поэтому потребовалось бы много времени, чтобы вставить его на каждую страницу. Я надеялся, что будет более быстрый метод?Как предотвратить индексирование сайта разработки?

источник

2015-09-08 a bit stuck

там будет [robots.txt] (http://robotstxt.org/), но если вы действительно не хотите, индексируются, там это только один способ: использовать брандмауэр. В то время как robots.txt соблюдается большинством сканеров, это не является обязательным требованием, и есть некоторые, кто этого не проверяет. –

спасибо за быстрый ответ. В файле robots.txt, какую запись мне нужно иметь, чтобы не индексировать и не следовать всему сайту? –

Дело № 1:

Если ваш сайт работает на Apache, и mod_headers включен (это обычно), вы можете добавить следующую строку в файл .htaccess:

Header set X-Robots-Tag "noindex, nofollow"

Дело № 2:

Если ваш сайт не работает на Apache, и вы хотите, чтобы эффективно скрывать страницы от поисковых систем, вам нужно их индексировать эти страницы (это может показаться противоречивым). Зачем? Потому что, когда они индексируют эти страницы, вы можете сказать им не перечислить их. используя метатеги роботов.

В этом случае (когда сервер не Apache) добавьте следующую строку на все страницы (или на странице заголовка только)

<meta name="robots" content="noindex,nofollow"/>

Последний шаг: ли ваш сайт стереосистеме и обновите на апач или нет , создать файл robots.txt и добавьте следующую строку него:

Disallow:/

источник

2015-09-08 22:36:07

Спасибо за быстрый ответ. Я на сервере IIS, и я использовал (извините, я должен был упомянуть об этом). Мне было интересно, нужно ли включать этот тег на каждую страницу на веб-сайте, где мне не нужен индекс (его сайт разработки, поэтому я не хочу, чтобы страницы не индексировались или не следовали)? –

Если ваш сайт использует общий заголовок для каждой страницы, вам просто нужно добавить этот тег один раз в заголовок, в качестве альтернативы вы можете создать заголовок и включить этот заголовок (через кодирование) на каждую вашу страницу. В противном случае вам нужно добавить этот тег на каждую страницу вашего сайта. Также обратите внимание, что robots.txt не может помешать вашему сайту выводиться в результатах поиска, он только предотвращает индексирование, но не может предотвратить список сайтов. –

Как предотвратить индексирование сайта разработки?

ответ

Смежные вопросы