параметр dissallow файла robots.txt

Question

Я хочу, чтобы роботы не обращались к URL-адресам, которые заканчиваются /new. Я модифицируя мой robots.txt файл следующим образом:

Disallow: /*/new 

Это правильный шаблон использовать, чтобы запретить доступ ко всем URL-адресов, заканчивающихся в /new?

Answer 1

Да, кажется, Google поддерживает этот

Попробуйте https://www.google.com/webmasters «Конфигурация сайта> Доступ для сканера», чтобы проверить свой файл robots.txt для заданных URL-адресов

Вот результат этого инструмента

http://www.***.com/new/asdasd 
Allowed by line 6: Allow:/

http://www.***.com/asdasd/new/ 
Blocked by line 8: Disallow: /*/new 
Detected as a directory; specific files may have different restrictions 

http://www.***.com/asdasd/new 
Blocked by line 8: Disallow: /*/new 

Answer 2

Disallow: /new$ 

будет проверять URL-адреса, заканчивающиеся на /new