Почему и как googlebot использует поисковую систему моего сайта?

Question

Просматривая мои поисковые журналы время от времени, я замечаю, что самым большим пользователем моей поисковой системы является Google-бот. Что дает? Он ищет контент, который не может быть напрямую доступен с помощью навигации? Если да, то как он знает, какие слова и фразы искать (они удивительно актуальны). Проверяет ли он наиболее популярные ключевые слова на сайте? Я знаю, что, кажется, я отвечаю на свой собственный вопрос здесь, но на самом деле это работает только с первых принципов. Я хотел бы услышать от кого-то, кто знает, о чем они говорят (а не меня).

Answer 1

Google будет использовать слова, которые происходят на вашем сайте в окнах поиска, чтобы попытаться найти страницы, которые он не может иначе.

Google говорит, что в течение последних нескольких месяцев, было заполнение форм на «небольшое количество» из «высокого качества» веб-сайтов, чтобы получить обратно информации. Какие слова он входил в эти формы? Слова автоматически выбираются на сайте, с установленными флажками и выпадающих меню. http://searchengineland.com/google-now-fills-out-forms-crawls-results-13760

Answer 2

Если ваш метод поисковой формы получается вместо должности, каждый поиск имеет свой собственный URL-адрес, и люди могут размещать эти URL-адреса в другом месте. Или если у вас есть (возможно, непреднамеренно) общедоступная страница веб-страниц, в которой перечислены эти URL-адреса, это еще один распространенный способ для поисковых систем наткнуться на ваши внутренние поисковые URL. Третий способ, который я видел, - это сайты, которые перечисляют последние поиски на своих страницах, но это более интенсивно. «Блог эффективности MySQL» делает это до раздражающей степени, поэтому любой поиск их сайта из google дает сотни страниц похожих поисков, даже если никто из них не нашел то, что искал.

Edit: Похоже, это не по случаю, но только GET формы: http://googlewebmastercentral.blogspot.com/2008/04/crawling-through-html-forms.html