Конфигурация robots.txt

Question

У меня есть несколько сомнений относительно этого файла роботов.

Это будет отключать сканеры для всех файлов внутри каждой папки? Или мне нужно добавить звездочку в конце каждого имени папки?

Я думаю, что это должно быть сделано. Но я не уверен, если нужно добавить Allow: / сразу после User-agent, я полагаю, он не нужен.

Что-то не так в этом файле robots?

PS: Если кто-то может предложить подтверждение для локального использования, я был бы рад.

Спасибо.

Answer 1

Это нормально, как есть, если я понимаю, чего вы хотите. Например.

/administrator/ 
/css/subpage 

оба заблокированы, но

/foo 

допускается. Обратите внимание, что Allow является менее поддерживаемым расширением, предназначенным только для противодействия предыдущему Disallow. Вы можете использовать его, например, несмотря на то, что, несмотря на то, что ваш

Disallow: /images/ 

Вы решили, что хотите, чтобы определенное изображение разрешено. Таким образом,

Allow: /images/ok_image 

Все остальные изображения остаются заблокированными. Вы можете увидеть http://www.searchtools.com/robots/robots-txt.html для получения дополнительной информации, включая список шашек.