Disallow динамического URL в robots.txt

Question

Нашего URL является:

http://example.com/kitchen-knife/collection/maitre-universal-cutting-boards-rana-parsley-chopper-cheese-slicer-vegetables-knife-sharpening-stone-ham-stand-ham-stand-riviera-niza-knives-block-benin.html 

Я хочу, чтобы запретить URL-адрес для сканирования после collection, но до collection есть категории, которые динамически приходит.

Как я могу запретить URL-адреса в файле robots.txt после /collection?

Answer 1

Это невозможно в исходной спецификации robots.txt.

Но некоторые (!) Анализаторы расширяют спецификацию и определяют подстановочный знак (обычно *).

Для тех анализаторов, вы можете использовать:

Disallow: /*/collection 

парсеров, которые понимают * в качестве шаблона перестанут ползать любой URL, чей путь начинается с ничего (который не может быть ничего), а затем /collection/, затем ничего, например,

http://example.com/foo/collection/ 
http://example.com/foo/collection/bar 
http://example.com/collection/ 

парсеры которые не понимают * в качестве подстановочных знаков (т. е. они следуют исходной спецификации), прекратят сканирование любого URL-адреса, пути которого начинаются с /*/collection/, например.

http://example.com/*/collection/ 
http://example.com/*/collection/bar