Несколько Sitemap: записи в файле robots.txt?

Я искал с помощью Google, но я не могу найти ответ на этот вопрос.Несколько Sitemap: записи в файле robots.txt?

Файл robots.txt может содержать следующую строку:

Sitemap: http://www.mysite.com/sitemapindex.xml

но можно указать несколько файлов индекса Sitemap в файле robots.txt и есть поисковые системы признают, что и ползать ВСЕ Sitemaps ссылки в каждом файле индекса sitemap? Например, будет ли эта работа:

Sitemap: http://www.mysite.com/sitemapindex1.xml 

Sitemap: http://www.mysite.com/sitemapindex2.xml 

Sitemap: http://www.mysite.com/sitemapindex3.xml

источник

2010-04-07 user306942

Да будет, см: http://ligatures.net/content /expertise/robots-txt-implementation.html – JVerstry

-1

Их можно написать, но зависит от поисковой системы, чтобы знать, что с ней делать. Я подозреваю, что многие поисковые системы будут либо «переваривать» все больше токенов, либо, альтернативно, взять последнюю карту сайта, которую они считают реальной.

Я предлагаю, чтобы вопрос был «если я хочу, чтобы ____ поисковая система индексировала мой сайт, смогу ли я определить несколько файлов Sitemap?»

источник

2010-04-07 16:40:04

Да, это кажется разумным. Я думаю, что читайте в FAQ Google, что они это поддерживают. – user306942

Google действительно поддерживает это, но если вы хотите быть уверенным, просто вручную отправьте файлы Sitemap в Инструменты для веб-мастеров. –

-1 Это в спецификации протокола. Этот ответ здесь - хроническое оправдание для того, чтобы не читать его, и предполагая, что все остальные, особенно разработчики, тоже не прочитают его. Вероятность не поддерживать файлы Sitemap в файле robots.txt намного выше, чем не поддерживать в соответствии со спецификациями. – hakre

Да, можно иметь more than one sitemap-index-file:

Вы можете иметь более одного индекса Sitemap файл.

Подчеркните мною.

Да, можно перечислить несколько карта сайта-файлы в robots.txt см, а in the sitemap.org site:

Вы можете указать более одного Sitemap файл в файл robots.txt.
Sitemap: http://www.example.com/sitemap-host1.xml 

Sitemap: http://www.example.com/sitemap-host2.xml 

Highlight мной, это не может быть неправильно, я бы сказал, так просто говорил, это может быть сделано.

Это также необходимо для кросс-подач, для которых кстати. был выбран robots.txt.

Btw Google, Yahoo и Bing, все members of sitemaps.org:

Карта сайта 0,90 предлагается в соответствии с условиями лицензии Attribution-ShareAlike Creative Commons и имеет включая поддержку от Google, Yahoo !, и Microsoft.

Таким образом, вы можете быть уверены, что ваши записи в карте сайта будут правильно прочитаны ботами поисковой системы.

Передача их с помощью инструментов для веб-мастеров также не может повредить - как John Muellercommented.

источник

2010-07-06 09:19:03

Документация Google robots.txt подтверждает, что это верно для Google, а также ссылки, которые она должна работать и для других ботов: «Может быть несколько записей в каркасе. В качестве записей, не относящихся к группе, они не привязаны к какому-либо конкретному пользователю -агенты, и за ними могут следовать все сканеры, если они не будут запрещены ». Документацию robots.txt Google можно найти здесь: https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt –

Вопрос задает вопрос, могут ли в файле robots.txt находиться несколько записей в файле Sitemap * index * 'не будет, если несколько записей Sitemap могут существовать. –

@NigelAlderton: Спецификации также ясно об этом: [* "У вас может быть более одного файла индекса Sitemap. * * (Http://www.sitemaps.org/protocol.html#index). Если вы сравниваете это с разделом * Sitemaps & Cross Submits *, это не только понятно, но и по своей сути необходимо разрешить несколько индексных файлов на 'robots.txt' для использования междоменного индекса. – hakre

Если ваш файл Sitemap содержит более 10 МБ (несжатый) или содержит более 50 000 записей, Google требует, чтобы вы использовали несколько файлов Sitemap в комплекте с файлом индекса сайта .

Using Sitemap index files (to group multiple sitemap files)

В robots.txt, указывают на индекс карты сайта, который должен выглядеть следующим образом:

<?xml version="1.0" encoding="UTF-8"?> 
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 
    <sitemap> 
     <loc>http://www.example.com/sitemap1.xml.gz</loc> 
     <lastmod>2012-10-01T18:23:17+00:00</lastmod> 
    </sitemap> 
    <sitemap> 
     <loc>http://www.example.com/sitemap2.xml.gz</loc> 
     <lastmod>2012-01-01</lastmod> 
    </sitemap> 
</sitemapindex>

источник

2012-04-27 05:14:48 scott

Ум, не совсем. Из http://www.sitemaps.org/protocol.php: «Каждый текстовый файл может содержать не более 50 000 URL-адресов и должен быть не более 10 МБ (10 485 760 байт)». – ayke

Google с тех пор увеличил разрешенный размер файла Sitemap до 50MB http://stackoverflow.com/questions/2887358/limitation-for-google-sitemap-xml-file-size –

Было бы лучше, если бы карта сайта: в точке роботов to sitemapindex.xml или несколько карт сайта: строки, указывающие на каждый из них? – WarrenDodsworth

Несколько Sitemap: записи в файле robots.txt?

ответ

Смежные вопросы