Я использую ASP.Net, и у меня есть пользовательская страница 404. Когда пользователь вставляет URL-адрес, который не найден, он будет перенаправлен на пользовательскую страницу 404. Однако google индексирует мою собственную страницу 404. Поиск 404 (страница не найдена).Как мне заставить Google индексировать мою страницу ошибок 404?
У кого-нибудь есть решение?
Вы всегда увидите запись в журнале, в которой Google попадает на вашу страницу 404. Поскольку Google должен запрашивать страницу, чтобы знать, что она имеет статус 404. Однако вы никогда не должны видеть эту страницу в результатах поиска, если это то, о чем вы спрашиваете?
Вы можете сделать свой каталог ошибок или каждый файл не включенным в Google, добавив его в файл robots.txt в корень вашего сайта. Это действительно относится к любым каталогам/файлам, которые вы не хотите индексировать Google.
Дополнительную информацию о файле robots.txt можно найти по адресу: http://en.wikipedia.org/wiki/Robots.txt или http://www.robotstxt.org/.
Вы можете использовать метатег роботов, чтобы Google не индексировал страницу 404.
<META NAME="ROBOTS" CONTENT="NOINDEX">
Google webmaster blog The указывает, что они не будут индексировать страницы с этим мета-тег.
Возможно, вы захотите убедиться, что ваша страница «404» фактически отправляет код ответа HTTP 404, а не только страницу, на которой написано 404, но на самом деле отвечает HTTP-200. Я не верю, что Google (или другой крупный поиск двигатели) будут индексировать страницы, вызванные запросами, которые отвечают с помощью 404.
Больше вопрос в том, как паук попадает на вашу страницу 404.