Запретить строки запроса в файле robots.txt только для одного URL

Question

, поэтому у меня есть один url, chickens.com/hatching, который имеет потенциальные строки запросов, которые он может индексировать, то есть chickens.com/hatching?type=fast. Я определенно хотел бы сохранить базовый url, chickens.com/hatching индексированный, но без параметров запроса. Я бы хотел, чтобы параметры запроса были проиндексированы на других страницах, а не этот, так что для всех страниц не будет работать. Во-вторых, я переписываю URL-адреса, чтобы удалить трейлинг-косые черты, будет ли это уловка chickens.com/hatching/?type=fast, а также chickens.com/hatching?type=fast ??

Означает ли это, что это решение моей проблемы?

Disallow: /hatching?* 

Я слышал, что это работает только для Google гусениц ... есть ли более надежное решение для всех сканеров?

Спасибо за помощь! Это очень ценно.

Answer 1

User-agent: * 
Disallow: /hatching? 
Disallow: /hatching/ 

Этот файл robots.txt будет блокировать все URL, чей путь начинается с /hatching? или /hatching/, так, например:

• /hatching?
• /hatching?foo=bar
• /hatching/
• /hatching/foo
• /hatching/?foo=bar

Это только использование функций из оригинальной спецификации robots.txt, поэтому все соответствующие боты должны уметь это понимать.