301 перенаправляет все, кроме robots.txt

Question

Мы переместили наш сайт в новый домен и хотим, чтобы все страницы старого сайта были удалены из поисковых систем. Это тот же сайт, тот же контент, только новый домен, поэтому поисковые системы занимают время из-за дублирования контента (возможно). Мы добавили .htaccess 301 от нашего старого сайта на новый сайт, как:

redirect 301/http://new-domain.com/ 

Теперь, чтобы удалить старый сайт из поисковых систем, мы изменили наш файл robots.txt на старом сайте, как:

User-agent: * 
Disallow:/

Проблема заключается в том, что поисковые системы извлекают файл robots.txt из new-domain.com из-за перенаправления .htaccess 301.

Как ограничить перенаправление 301 для файла robots.txt?

Answer 1

Удалите Redirect директиву и попробовать это правило mod_rewrite:

RewriteEngine on 
RewriteRule !^robots\.txt$ http://other.example.com%{REQUEST_URI} [L,R=301] 

Это будет перенаправлять любой запрос, кроме /robots.txt.

Answer 2

Я пробовал разные конфигурации и провел часы, и, наконец, я нашел этот код, который хорошо работает и надеется получить желаемые результаты. Вот код для отказа от поисковых систем.

User-agent: * 
Disallow:/