Звездочка в robots.txt

Question

Хотите знать, если следующий будет работать на Google в robots.txt

Disallow: /*.action

мне нужно исключить все URLs заканчивающиеся .action.

Это правильно?

Answer 1

Чтобы заблокировать все файлы определенного типа (например, .gif), используйте следующее:

User-agent: Googlebot 
Disallow: /*.gif$ 

Итак, вы близки. Используйте Disallow: /*.action$ с завершающим "$"

Конечно, это всего лишь то, что предлагает Google: http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

Всех бот различны.

Answer 2

Я не думаю, что он будет работать, вам нужно будет переместить все файлы .action в месте, которое вы затем DISALLOW

Answer 3

robots.txt specification не предоставляет способ включить подстановочные знаки, только начало URI.

Google реализует нестандартные расширения, описанные в их documentation (см. Раздел «Создание файла robots.txt вручную» в разделе «Блокировать файлы определенного типа файла»).