Как сообщить роботу Google, что определенные ссылки больше не существуют

Question

В первые дни веб-сайта я допустил ошибку в генерации некоторых ссылок; после них выводится ошибка базы данных.

Google bot попытался следовать этим ссылкам, и теперь они появляются как ошибки обхода в инструментах для веб-мастеров. Хотя я с тех пор исправил ошибку, google по-прежнему пытается их обходить.

Как сообщить Google, что такие ссылки больше не существуют и что они не ведут никуда? Я не могу сделать 301 переадресацию, которая говорит, что ссылки действительны, и их нормально индексировать их.

Answer 1

Если страница удалена без каких-либо логической замены, то вы должны, как правило возвращает ошибку 404, в этом случае, однако я хотел бы рассмотреть возможность возвращения 410 Gone - что указывает на то, что страница была удалена навсегда и никогда не возвращалась и должна быть очищена от индексов googles.

Его, вероятно, стоит сгладить существующую кодовую базу для рассматриваемого URL, чтобы гарантировать, что ссылки для них не останутся.

Что касается 301 301, это не означает, что ссылка действительна, 301 постоянно перемещается. Это говорит Google, что страница, которую он искал здесь, теперь живет в другом месте и направляет google на новое место. Не применимо в вашем случае от звуков вещей, но тонко отличается от того, как вы его описали.

Для получения дополнительной информации см. http://en.wikipedia.org/wiki/List_of_HTTP_status_codes

Answer 2

я бы просто пометить их в файле robots.txt

http://www.robotstxt.org/robotstxt.html