Disallow динамический Htaccess переписан URL

Question

Добро пожаловать,

Как я могу запретить в robots.txt индексацию страниц

http://mysite.net/something,category1.php 
http://mysite.net/something,category2.php 
(...) 
http://mysite.net/something,category152.php 

меня попробовать

Disallow: /something,*.php 

Но это сказать, я не могу использование wildcard (*) здесь.

Answer 1

Вы можете изменить формат ссылки и упаковать все Disallow страниц в один каталог URL-адрес или написать программы/скрипт для создания в robots.txtDisallow всех ваши Disallow Возможной ссылка выглядит.