Заблокировать доступ в robot.txt

Question

Если я хочу заблокировать доступ ко всем .py-файлам на моем сервере, но разрешить все файлы в той же папке, что и эти .py-файлы, что мне следует поместить в свой robot.txt? Это то, что я прямо сейчас:

User-Agent: *  
Disallow: /*_.py 

Answer 1

В соответствии с this page и this one конкретные сканеры/роботы (например, Googlebot и MSNBot) поддерживают использование звездочки (*) в строке «Запретить:».

Например, если вы хотите, чтобы блокировать Googlebot из ваших файлов .py, вы будете использовать:

User-agent: Googlebot 
Disallow: /*.py$ 

знак доллара ($) обозначает конец файла (включая его расширение). Обратите внимание, что Googlebot-Image и MSNBot также следуют этому синтаксису. Однако, поскольку я не смог найти информацию о поддержке этой функции для других искателей, вы можете указать синтаксис для «User-agent», упомянутый в этом сообщении.

Конечно, в конечном итоге было бы лучше найти универсальное решение, но это может быть быстрым решением.

Answer 2

Там нет «определенного стандарта» для robots.txt файлов, но есть много информации агрегируется на http://www.robotstxt.org/.

На http://www.robotstxt.org/robotstxt.html, говорится:

В частности, вы не можете иметь такие строки "User-Agent: * бот *", "Disallow:/TMP/*" или "Disallow: * .gif" ,

Хотя некоторые искатели сделать позволяют символы, если вы хотите иметь надежное решение вашей безопасная ставка будет предположить, что не гусеничных бы взять Disallow: линии во внимание, и предполагаете, что вы нашли альтернативу решение. В противном случае вы будете внедрять решение, которое будет поддерживаться некоторыми поисковыми системами, оставив ваш сайт открытым для других.