Лучший способ уменьшить URL-адреса ботов, проиндексированных

Google, bing и другие поисковые системы Интернета имеют тонны uris в своих индексах, которые мой сайт не содержит. Скажем, что-то вроде http://www.mydomain.com?key=apple+banana+orange.

Несмотря на отсутствие прямой ссылки на этот uri на моем сайте, он отображает хорошую страницу в соответствии с результатами моей собственной поисковой системы. (php, mysql и другие). Проблема в том, что боты едят мои серверные ресурсы из-за большого доступа, spidering тысячи и тысячи uris как этот. Хуже всего, индексируется много странных строк (не могу сказать слов). Все это снижает производительность и (я подозреваю) снижение рейтинга сайта.Лучший способ уменьшить URL-адреса ботов, проиндексированных

Я только хочу, чтобы все те, которые действительно существуют в виде ссылок на мой сайт, как

http://www.mydomain.com?key=apple или
HTTP://www.mydomain.com?key=banana или
http://www.mydomain.com?key=orange (один простой ключевое слово)
и удалите остальные (комбинации, как и первый uri).

Я создал карту сайта google год назад.

Мне нужно решение в соответствии с правилами Google. Единственное, что я имею в виду if(strstr($_SERVER['QUERY_STRING'],'+') перенаправить на index.php Спасибо

источник

2012-01-23 dstonek

Вы можете использовать файл «robots.txt», чтобы дать инструкции о вашем сайте на веб-роботов.

Вы можете прочитать о том, как настроить его here.

Редактировать

Google говорит о robots.txt, а here.

источник

2012-01-23 20:38:15

Mmmmm.Maybe Disallow:/* + и некоторые аранжировки (я не хочу пропустить другие строки запроса, содержащие «+») – dstonek

Есть два способа, я могу думать, чтобы напасть на этот вопрос:
1. создать sitemap.xml (Google это)
2. Открыть счет в Google инструмент для веб-мастеров: http://www.google.com/webmasters/ и владение претензии (5 мин).
после того, как вы подтвердите пароль как владелец веб-сайта, зайдите в свою учетную запись веб-мастера, перейдите по ссылке:
Конфигурация сайта -> ссылки на сайт
и там у вас будет возможность понизить некоторые ссылки, которые вы хотите, чтобы игнорировать Google.

источник

2012-01-23 20:39:10 alfasin

Я указал, что я создал карту сайта год назад. И я не могу подробно описать все исключенные ури (возможно, миллионы, сумма комбинаций 50 000, взятых 2, 3, 4 и т. Д. И всевозможные нечетные строки) – dstonek

Если у вас есть страница индекса на строку запроса и возвращает 404 Not Found для key, которые на самом деле не существуют, это должно вывести их из индекса. Перенаправление может быть признаком того, что URL-адреса действительно действительны.

источник

2012-01-23 20:42:08 basicer

Я знаю, что они все еще действительны, они действительно «действительны», ,Скрипт проверяет строку запроса, содержащую «key =», и выполняет внутренний поиск с помощью этого или этих слов. Результаты могут быть пустыми, но могут отображаться некоторые альтернативы или, в худшем случае, «Результаты не найдены». Переадресация на 404.php рассматривается как «мягкая» 404 приложениями google. Я не знаю, удастся ли вообще удалить этот урис. – dstonek

И для записей я обнаружил, что боты ботов по-прежнему пытаются получить доступ к файлам, которые не существуют с 2005 года. Это настоящие 404 ошибки – dstonek

Лучший способ уменьшить URL-адреса ботов, проиндексированных

ответ

Смежные вопросы