Как отключить определенную страницу от robots.txt

Question

Я создаю две страницы на моем сайте, которые очень похожи, но служат для разных целей. Один из них - поблагодарить пользователей за комментарий, а другой - поощрять пользователей к подписке.

Я не хочу дублировать содержание, но я хочу, чтобы страницы были доступны. Могу ли я установить карту сайта, чтобы скрыть ее? Могу ли я сделать это в файле robots.txt?

Disallow выглядит следующим образом:

Disallow:/WP-администратора

Как бы настроить на конкретную страницу как:

http://sweatingthebigstuff.com/thank-you-for-commenting

Answer 1

Disallow: /thank-you-for-commenting 

в роботов .txt

Взгляните на last.fm robots.txt file для вдохновения.

Answer 2

Это очень простая, любая страница, которую вы хотите запретить, просто укажите корневой URL этого файла или папки. Просто поместите это в свой файл robots.txt.

Disallow: /thank-you-for-commenting 

Answer 3

файлы robots.txt использовать регулярные выражения для сопоставления страниц, поэтому, чтобы избежать ориентации больше страниц, чем вы собираетесь, возможно, придется добавить $ в конце названия страницы:

Disallow: /thank-you-for-commenting$ 

Если вы этого не сделаете, вы также запретите страницу/thank-you-for-commenting-on-this-too

Answer 4

Вы также можете добавить определенную страницу с расширением в robots.txt. В случае тестирования вы можете указать путь к тестовой странице, чтобы запретить роботам сканирование.

Примеры:

Disallow: /index_test.php 
Disallow: /products/test_product.html 
Disallow: /products/  

Первый Disallow: /index_test.php запретит ботам ползет тестовую страницу в корневой папке.

Второй Disallow: /products/test_product.html запретит test_product.html под папкой «Продукты».

Наконец, последний пример Disallow: /products/ запретит сканирование всей папки.