SEO sitemap.xml динамическое содержание

Question

Допустим, мы получили эти страницы:

1. http://www.mywebsite.com/users/thomas-roberts 
2. http://www.mywebsite.com/pages/thomas-roberts/1 
3. http://www.mywebsite.com/pages/thomas-roberts/hello-kitty-collection 

Есть ли возможность сделать это в sitemap.xml:

<?xml version="1.0" encoding="utf-8"?> 

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
    <url> 
     <loc>http://mywebsite.com/users/^(\w+)$/</loc> 
     <lastmod>2006-11-18</lastmod> 
     <changefreq>daily</changefreq> 
     <priority>1</priority> 
    </url> 
    <url> 
     <loc>http://mywebsite.com/users/^(\w+)$/pages/^(\w+)$</loc> 
     <lastmod>2006-11-18</lastmod> 
     <changefreq>daily</changefreq> 
     <priority>0.8</priority> 
    </url> 
    <url> 
     <loc>http://mywebsite.com/users/^(\w+)$/pages/^(\d+)$</loc> 
     <lastmod>2006-11-18</lastmod> 
     <changefreq>daily</changefreq> 
     <priority>0.6</priority> 
    </url> 
</urlset> 

Я надеюсь, что мой пример ясно, мы действительно не указываем новый элемент «url» в файле sitemap.xml, но вместо этого мы сопоставляем регулярное выражение с URL-адресом, и мы просто возвращаемся каждый раз, чтобы обновлять его.

Если это может быть не решение, как Twitter и Facebook индексируют все свои страницы (страницы профиля и т. Д.) В Google? Создают ли они новую карту сайта каждый раз, когда создается новый пользователь, и обновляют ли они свою веб-страницу, обновляя свою страницу/профиль?

Я был очень застенчивым, если бы мы хотели каким-то образом создать sitemap.xml (у которого есть предел 50 000 предметов и 10 мб), что было бы хорошей идеей для создания sitemaps, если контент будет изменен?

Спасибо большое.

Answer 1

Карта сайта должна содержать фактические URL-адреса. Regex неприемлемы и совершенно бесполезны, поскольку они ничего не говорят поисковым системам.

Файлы Sitemap сообщают поисковым системам, где вы можете найти свой контент. Поэтому, если содержимое страницы будет изменено, карта сайта действительно не повлияет на нее в отношении поисковых систем.

Answer 2

К сожалению, файлы sitemaps требуют наличия в них явных URL-адресов. Файл Robots.txt вместо этого допускает определенный вид Подстановочный синтаксис через знаки * и + для представления набора URL-адресов, но это не относится к файлам Sitemap.

Answer 3

Я думаю, что лучшая идея - обновить URL-адрес в базе данных (или кеше), используя скрипт, выполняемый заданием cron. Если файл sitemap.xml может быть сгенерирован в течение срока действия сервера, то пусть он запускается «на лету» с использованием данных. См. Здесь для примера: https://stackoverflow.com/a/29468042/4058484

Однако, если у вас есть огромное количество данных, то лучше всего найти URL-адреса в нескольких файлах Sitemap, которые разрешены до тех пор, пока они перечислены в файле sitemap.xml, указанном в файле robots.txt, здесь подробнее : http://www.sitemaps.org/protocol.html#sitemapIndexXMLExample.