Будет ли работать следующий robot.txt?robots.txt запретить google-бот в корневом домене, но разрешить ботовую картинку в Google?
User-agent: *
Disallow:/
User-agent: Googlebot-Image
Allow:/
Моя идея заключается в том, чтобы избежать Google ползать мой домен КДС, но позволяя Google изображение еще сканировать и индексировать мои изображения.
Файл должен быть нарезан robots.txt, не robot.txt.
Обратите внимание, что User-agent: * целей всех бот (которые не совпадающих другой User-agent записи), а не только Googlebot. Поэтому, если вы хотите, чтобы другие боты сканировали ваш сайт, вместо этого вы должны использовать User-agent: Googlebot.
Так что robots.txt позволит «Googlebot-Image» все, и запретить все для всех остальных ботов:
User-agent: Googlebot-Image
Disallow:
User-agent: *
Disallow:/
(Обратите внимание, что Disallow: с пустым значением строки эквивалентно Allow: /, но Allow поле не является частью исходной спецификации robots.txt, хотя некоторые парсеры поддерживают ее, в том числе Google).