Отправить Sitemap в Google. Используйте Инструменты Google для веб-мастеров, чтобы добавить свой сайт и автоматически создать сжатый файл sitemap.xml. Это сообщит Google обо всех URL-адресах вашего сайта, чтобы он мог их сканировать. Вы также можете отслеживать, как часто Google сканирует ваш сайт и обнаруживает ли он какие-либо ошибки.
EDIT: Если вы беспокоитесь о слишком большом Sitemap, вы можете создать карту сайта с одним URL-адресом, указывающим на главную страницу индекса. Эта индексная страница может быть сгенерирована один раз в день или по одному запросу и может быть сегментирована, как вам нравится. Он просто служит источником для сканирования Google. Например, он может представлять список символов A, B, C, D, E, ..., Z, которые являются ссылками на страницы, содержащие список всех страниц, начинающихся с этого символа. Это не имеет значения, однако вы хотите сделать это, чтобы оптимизировать ресурсы базы данных.
Их ключ - загрузить файл sitemap.xml в систему Google, чтобы они знали, когда и как часто вас сканировать. Для создания карты сайта есть всевозможные тонкости. Вышеупомянутый подход с одним URL-адресом является грубым, но он может работать. В идеале вы должны создать карту сайта с каждым URL-адресом в вашей системе, отсортированным по приоритету, но это не требуется.
Дополнительную информацию смотрите в спецификации карты сайта. Если вы просто хотите посеять Google, используйте подход 1 URL для перехода.
Это как большинство сайтов? Мне кажется, что это может повредить мою базу данных. Вероятно, у меня будет около 2 миллионов статей в базе данных, и, похоже, очень сложно генерировать новый файл Sitemap динамически. Или что-то более частым, чем каждый день или около того. –
Если вы хотите имитировать доступ к базе данных, вы можете кэшировать карту сайта и обновлять ее каждую неделю или около того. В основном, когда кто-то запрашивает файл Sitemap, проверьте, была ли его последняя измененная дата старше недели, и если она затем регенерирует ее. В противном случае откройте кешированную версию. С современными системами БД можно легко обрабатывать 2 миллиона статей. – robinjam