Nginx block robots.txt file

Question

Я запускаю Nginx 1.1.19 на сервере Ubuntu 12.04, и у меня возникают проблемы с Googlebot, см. Файл robots.txt. Я использовал примеры this post, но я не добился успеха. Чтобы проверить службу, я обращаюсь к Инструментам для веб-мастеров, нажимаю «Целостность> Поиск как Googlebot» ... только, что я получаю сообщения от «Не найдено», «Страница недоступна» и «Файл robots.txt недоступен "....

Я также хотел бы подтвердить, должна ли конфигурация быть выполнена в файле nginx.conf или файл« по умолчанию »в /etc/nginx/sites-enabled, потому что в более поздних версиях я заметил, что это может быть иначе. Это мои основные настройки.

root /usr/share/nginx/www; 
index index.php; 

# Reescreve as URLs. 
location/{ 
    try_files $uri $uri/ /index.php; 
} 

Answer 1

Проверьте мой ответ here.

Что касается добавления его к основному файлу nginx.conf или к вашим /etc/nginx/sites-available файлам, это зависит от вас, хотите ли вы, чтобы он был глобальным или специфичным для сайта, соответственно.

Answer 2

Мне удалось решить мою проблему, добавив команду «переписать» сервер политики, как показано ниже. После этого я вернулся в Google Webmasters, изменил поиск с помощью робота Google, и он сработал. Воспользуйтесь этой возможностью, чтобы оставить здесь мой код, который делает порт перенаправления с 80 по 443 префиксом и не-www на www.

# Redirect HTTP to HTTPS and NON-WWW to WWW 
server { 
    listen 80; 
    server_name domain.com.br; 
    rewrite^https://www.domain.com.br$1 permanent; 

# Rewrite the URLs. 
    location/{ 
    try_files $uri $uri/ /index.php; 
    } 
} 
server { 
    listen 443; 
    server_name www.domain.com.br; 

# Rewrite the URLs. 
    location/{ 
    try_files $uri $uri/ /index.php; 
} 

    root /usr/share/nginx/www; 
    index index.php; 

    [...] the code continued here