Google индексирует действия post

Question

Я разработал веб-сайт ASP.NET MVC 5, который использует запросы jQuery и ajax для вывода и публикации данных. Сканеры Google обнаружили мои URL-адреса POST-кода в Javascript-коде и попытались их индексировать.

В Инструментах для веб-мастеров я вижу много ошибок /Account/Login с ответом об ошибке 500, потому что, очевидно, имя и пароль не были предоставлены. Как я могу решить эту проблему? Мне не нужна ошибка обхода, но я не знаю, как сказать Google, чтобы не следовать этим URL-адресам.

Спасибо!

Answer 1

Используйте Google's instructions, чтобы создать файл robots.txt, который является запросом поисковой системы, чтобы не индексировать.

Образец robots.txt поместить в корень вашего домена может выглядеть следующим образом:

User-agent: Googlebot 
Disallow: /path/to/my/post/url