Предотвращение поддомена cookieless для статических активов от индексации поисковыми системами

Question

Я создал новый субдомен для всех статических ресурсов (static.example.com), создав новую запись A и указав ее на том же сервере с новым IP-адресом адрес, а затем создание виртуального хоста с тем же DocumentRoot, что и основной сайт www.example.com. Мы указали все ссылки на статические ресурсы на статический субдомен, однако все ресурсы веб-сайта можно получить через static.example.com или www.example.com.

Проблема в том, что Google начал индексировать html-файлы на субдомене static.example.com. Что было бы лучшим способом предотвратить Google индексирование файлов в этом домене?

Answer 1

Существует несколько способов сделать это. Один использует robots.txt

Создайте файл static.example.com.robots.txt в корневом каталоге и поместите в него следующее (невозможно использовать файл robots.txt, поскольку он совместно используется с другими доменами).

Это запретит все пауки вкл GoogleBot

User-agent: * 
Disallow:/

Для того, чтобы это служило только с static.example.com сайта добавить следующее правило к вашему .htaccess в корневой папке вашего сайта.

RewriteEngine On 
RewriteBase/


#if request is on static.example.com 
RewriteCond %{HTTP_HOST} ^static\.example\.com$ [NC] 
#serve robots.txt from static.example.com.robots.txt 
RewriteRule ^(robots\.txt)$ %{HTTP_HOST}.$1 [L,NC]