Google файл robots.txt

Question

Я хочу, чтобы Google робот: 1), чтобы увидеть только главную страницу 2), чтобы увидеть описание в результатах поиска главной страницы

У меня есть следующий код, но он, кажется, что он не работает

User-agent: * 
Disallow: /feed 
Disallow: /site/terms-of-service 
Disallow: /site/rules 
Disallow: /site/privacy-policy 
Allow: /$ 

У меня что-то отсутствует или мне просто нужно подождать, пока робот Google посетит мой сайт? Или, может быть, это какое-то действие, требуемое от панели веб-мастеров Google?

Заранее благодарен!

Answer 1

Чтобы сделать номер 1, просто поместите эти 2 строки в конце

User-Agent: Googlebot 
Allow: /(name of your index page like index.html or index.php) 

И если вы хотите, чтобы увидеть описание индексировать страницы вашего сайта на Google. затем добавьте метатег описания перед завершением заголовка.

<meta name="description" content="The search description you want to see as your index page's search description on google." /> 

Answer 2

Ваш robots.txt должен работать (и да, это занимает много времени), но вы можете сделать следующие изменения:

• Это кажется, что вы хотите предназначаться только бот Google, так вы должны использовать User-agent: Googlebot вместо User-agent: * (который предназначен для всех ботов, у которых нет определенной записи в вашем файле robots.txt).

• кажется, что вы хотите запретить сканирование все страницы, кроме главной страницы, так что нет необходимости указывать несколько конкретного начало пути в Disallow.

Так может выглядеть следующим образом:

User-agent: Googlebot 
Disallow:/
Allow: /$ 

бот Google может только ползать домашней страницы, больше ничего. Все остальные боты могут сканировать все.