Unlist поддомена или каталога в соответствии с robotstxt.org

Question

Согласно robotstxt.org

Первый ответ обходной путь: Вы можете поместить все файлы, которые вы не хотят роботов посетить в отдельном суб каталог, убедитесь, что каталог ун-неперечислимо в сети (с помощью конфигурации сервера)

Как настроить свой сервер, чтобы иметь UNLISTED каталог или субдомен?

Answer 1

Это зависит от сервера и его конфигурации.

Как может быть проблема конфиденциальности/безопасности, чтобы перечислить содержимое папки, большинство серверов, вероятно, не сделают это по умолчанию. Некоторые серверы могут отображать содержимое папки только в том случае, если файл index.html отсутствует.

Для Apache см. mod_autoindex.

Вы можете легко проверить, если ваш сервер содержимого списков или нет:

1. создать папку test
2. добавить dummy.txt файлу
3. посетить URL-адрес этой папки, например http://example.com/test/

Если вы получили сообщение об ошибке, ваш сервер не отображает содержимое. Если вы видите список ссылок, содержащий dummy.txt, ваш сервер будет показывать содержимое.