Разрешить/категоризировать, но запретить/категорию/подкатегорию

Question

Я пытаюсь разрешить /category в моем файле robots.txt. Под /category есть /subpages, и я хотел бы запретить что-либо после /category.

Я уже пробовал запретить /category/subpage1 и /category/subpage2 в файле robots.txt, но так как подстраницы растут, и я не хочу редактировать файл robots.txt раз за разом. Есть ли способ сделать это? Как добавить /* или около /category?

Answer 1

Disallow: /category/ 

Это блокирует URL-адреса, путь которых начинается с /category/.

URL-адрес с пути /category будет позволять выполнять сканирование, поскольку он не имеет завершающей косой черты.