Как правильно разбить сайт?

Question

Предположим, у меня есть новый verison веб-сайта:

http://www.mywebsite.com 

и я хотел бы сохранить старую сайт в подкаталоге и рассматривать его отдельно:

http://www.mywebsite.com/old/ 

Мой новый сайт имеет ссылку на старый один на главной странице, но не наоборот.

1) Должен ли я создать 2 файла Sitemap? Один для новый и один для старый?

2) Когда мой сайт сканируется, как я могу ограничить путь искателя? Другими словами, поскольку у сайт есть ссылка на старый, один гусеница достигнет старого сайта. Если я делаю следующее в моем файле robots.txt:

User-agent: * 
Disallow: /old/ 

Я беспокоюсь, что он не будет сканировать старый сайт (используя 2-й карты сайта), так как он блокирован. Это верно?

Answer 1

1) Вы можете включить все URL-адреса в один файл или создать отдельные файлы. Можно понять, что карта сайта является «сайтом (веб-сайтом)», например. см http://www.sitemaps.org/:

В своей простейшей форме Sitemap является XML-файл, который содержит список URL-адресов для сайта вместе с дополнительными метаданными о каждом URL

Поскольку теперь у вас есть два сайта, вы можете создать два файла Sitemap. Но опять же, я не думаю, что это строго определено именно так.

2) Хорошо, если вы заблокируете URL-адреса в файле robots.txt, эти URL-адреса не будут посещаться соответствующими ботами. Это не означает, что эти URL-адреса никогда не будут индексироваться поисковыми системами, но страницы (= контент) не будут.