Остановить ботов от обхода моего сайта Google App Engine

Я заметил, что мой сайт Google App Engine просканирован множеством ботов (таких как Baido и Ahrefs), и они едят всю мою пропускную способность и чтение данных ,Остановить ботов от обхода моего сайта Google App Engine

Я знаю только на обычном самообслуживаемом сайте, который бы поместил файл robots.txt в свою базовую папку, но как именно я могу сказать, что боты не сканируют мой сайт в Google App Engine? Я запускаю python и jinja 2, если это имеет значение.

спасибо.

источник

2014-12-08 Leon Overweel

ли это в app.yaml

- url: /robots.txt 
    static_files: static/robots.txt 
    upload: static/robots.txt

Затем, до тех пор, пока у вас есть static/robots.txt в вашем проекте, вы хорошо идти.

источник

2014-12-08 05:56:10

Спасибо. Просто добавьте (потому что это пошло не так для меня), это должно быть выше '- url: /.*', потому что в противном случае оно пропущено. –

Dot (".") Должен быть экранирован с обратным слэшем в «url» и «upload», потому что они являются регулярными выражениями («- url: /robots\.txt static_files: static/robots.txt upload: static/robots \ .txt ") – Chris

Технически, это правильно. И все же это вряд ли вызовет проблему в этом случае. В балансе здесь я с ясностью пересматриваю точность. –

Остановить ботов от обхода моего сайта Google App Engine

ответ

Смежные вопросы