Robots.txt отличается от каталога в каталоге

Я не могу понять, почему Google читает мой файл robots.txt как Disallow: /.Robots.txt отличается от каталога в каталоге

Это то, что я имею в файле robots.txt, который находится в главном корневом каталоге:

User-agent: * 

Allow:/

Но если я цифра в браузере он будет показывать Disallow: /: http://revita.hr/robots.txt

Я попробовал все, отправил файл Sitemap, добавил индекс мета-роботов, перейдите в <head>, но это всегда одно и то же.

Любые идеи?

источник

2017-01-27 Mara Barn

У вас, кажется, есть другой файл robots.txt, если вы используете его через HTTPS (→ Allow) вместо HTTP (→ Disallow).

Кстати, вам не нужно заявить

User-agent: * 
Allow:/

потому, что позволяет все это по умолчанию. Как Allow не является частью оригинальной спецификации robots.txt, вы можете использовать вместо этого:

User-agent: * 
Disallow:

Также обратите внимание, что вы не должны иметь пустую строку внутри записи.

источник

2017-01-28 01:49:59 unor

Спасибо, знаете ли вы, что возможно иметь разные файлы robots.txt при доступе через https вместо http? Я попытался, и я заметил это, вы правы, но не понимаете, почему, если у меня есть только один файл robots.txt, который находится в корневом каталоге. –

@MaraBarn: Если вы посмотрите заголовки ответов, HTTP robots.txt обслуживается сервером nginx, а HTTPS-файл robots.txt обслуживается сервером Apache. HTTP-файл был последним изменен в ноябре 2014 года и кэширован до февраля 2017 года. - Кажется, вы как-то запускаете два сервера? И HTTP-сервер тайно его кэшировал? – unor

Я свяжусь со своим провайдером и спрошу, спасибо! –

Robots.txt отличается от каталога в каталоге

ответ

Смежные вопросы