Разрешить Google Поиск по сайту, но блокировать Google Bot

Question

Я ищу некоторую ясность при попытке заблокировать Google Bot с определенных страниц на моем сайте, но в то же время позволяя им индексироваться в моем поиске по сайту Google (GSA). Я не могу найти четкого ответа на это. Это мое лучшее предположение.

User-agent: * 
Disallow: /wp-admin/ 
Disallow: /example/custom/ 

User-Agent: gsa-crawler 
Allow: /example/custom/ 

Я хотел бы, чтобы заблокировать Google Bot индексировать все страницы с www.example.com/example/custom/, но в то же время индексировать их с GSA. Это будет правильная реализация в моем файле robots.txt? Или GSA нужно будет перейти выше User-agent: *? Любое понимание очень ценится.

Answer 1

Не уверен, если это может быть полезно:

https://www.google.com/support/enterprise/static/gsa/docs/admin/72/gsa_doc_set/admin_crawl/preparing.html

наконечник безопасности: помните поиск хакеров в robots.txt, чтобы увидеть, что каталоги вы хотите «охранник».

Cheers!