У меня есть сайт (example.com) и у меня есть файл robots.txt в корневом каталоге. У меня также есть несколько поддоменов (foo.example.com, bar.example.com и т. Д.), Чей файл robots.txt будет идентичен, как у example.com. Я знаю, что могу поместить файл в корень каждого поддомена, но мне интересно, можно ли перенаправить поисковые роботы, которые ищут файл robots.txt на любом субдомене, на example.com/robots.txt?Один файл robots.txt для всех поддоменов
Отправка заголовка перенаправления для файла robots.txt не рекомендуется и официально не поддерживается.
Google's documentation в частности, гласит:
Обращение robots.txt перенаправляет к запрещенным URL, не определен и не рекомендуется.
Но документация говорит, что перенаправление "будет обычно следует за". Если вы добавите свои поддомены в Инструменты Google для веб-мастеров и перейдите в раздел «Сканирование> Заблокированные URL-адреса», вы можете проверить свои поддомены robots.txts, которые перенаправляются 301. Он должен вернуться как положительно работающий.
Однако, с учетом сказанного, я бы сильно предположил, что вы просто символизируете файлы на месте и каждый файл robots.txt отвечает 200 OK на соответствующих URL-адресах. Это намного больше соответствует оригинальной спецификации robots.txt, а также документации Google, и точно знает, как с этим справится bing/yahoo с течением времени.
Да, вы можете. Или вы можете символически связать его. Какой бы вам ни было легче. – Wrikken
@Wrikken Могу ли я добавить «RedirectMatch» в файл .htaccess root, чтобы это произошло? –