Robots.txt блокирует все страницы, кроме выбранных.

Question

User-agent: * 
Sitemap: https://somedomain.com/sitemap.xml 
Disallow:/
Allow: /sitemap.xml 
Allow: /some-page 
Allow: /some-other-page 

После отправки файла Sitemap вручную с помощью инструментов Google для веб-мастеров в нем говорится, что он не может читать разрешенные страницы, потому что они заблокированы с помощью robots.txt.

Как изменить файл robots.txt, чтобы они могли быть проиндексированы, но остальная часть страниц портала не указана?

Answer 1

Возможно, это всего лишь вопрос времени, пока Google не узнает новый/обновленный файл robots.txt.

Вы можете «попросить Google более быстро обходить и индексировать новый файл robots.txt для вашего сайта» в Инструментах для веб-мастеров Google: Submit your updated robots.txt to Google.

Side Примечание: Как the Sitemap field does not belong to a single record (в качестве протокола defines: «независимо от строки агента пользователя»), вы можете структурировать свой файл robots.txt, как это:

User-agent: * 
Disallow:/
Allow: /sitemap.xml 
Allow: /some-page 
Allow: /some-other-page 

Sitemap: https://somedomain.com/sitemap.xml