Могу я сказать sitecrawlers посетить определенную страницу?

Question

У меня есть сайт drupal, который вращается вокруг базы данных документов. По дизайну вы можете найти эти документы только путем поиска на сайте. Но я хочу, чтобы все результаты были проиндексированы роботом Googlebot и другими искателями, поэтому я подумал, что если я сделаю страницу, в которой перечислены все документы, а затем скажу роботам, чтобы они посещали страницу, чтобы индексировать все мои документы ..?

Возможно ли это, или есть лучший способ сделать это?

Answer 1

Возможно Sitemap

Google представила Google Sitemaps так веб-разработчики могут публиковать списки ссылок со всех своих сайтов. Основная предпосылка заключается в том, что на некоторых сайтах имеется большое количество динамических страниц, которые доступны только с использованием форм и пользовательских записей. Затем файлы Sitemap можно указать, чтобы указать поисковому веб-сайту, как такие страницы могут быть найдены. Google, Bing, Yahoo и Ask теперь совместно поддерживают протокол Sitemaps.

Answer 2

Create a XML sitemap and submit it to Google. Другие поисковые системы также поддерживают это.

Answer 3

На самом деле, вы можете быть заинтересованы в drupal sitemap builder plugin для этого ..

Answer 4

Вы должны сделать XML карту сайта. Там находится модуль для него в Drupal называется XML sitemap (используется более чем 42.000 сайтов Drupal):

Из модуля:

Модуль XML карта сайта создает карту сайта, которая соответствует Sitemaps .org спецификация. Это помогает поисковым системам более разумно сканировать веб-сайт и обновлять их результаты. Карта сайта, созданная модулем, может быть автоматически отправлена ​​в Ask, Google, Bing (ранее Windows Live Search) и Yahoo! поисковые системы. Модуль также содержит несколько подмодулей, которые могут добавлять ссылки на карту сайта для контента, пунктов меню, терминов таксономии и профилей пользователей.