Unreachable Robots.txt в приложении Django

Получено уведомление от инструментов Google для веб-мастеров, которые googles crawler bot прекратил сканирование одного конкретного сайта из-за «Unreachable robots.txt». К сожалению, google не дает никаких дополнительных сведений об ошибке искателя.Unreachable Robots.txt в приложении Django

У меня есть

<meta name="robots" content="index, follow">

включен как один из моих мета-тегов в шаблоне base.html, которые я делаю для каждого приложения Джанго и я не имею эту проблему с любым из моих других сайтов. Исправьте меня, если я ошибаюсь, но я также подумал, что для robots.txt не требуется, чтобы Google проиндексировал вас.

Я пытался решить путем установки и настройки Джанго-роботов (https://github.com/jezdez/django-robots) и добавив в мой URL-адрес конф:

(r'^robots\.txt$', include('robots.urls')),

выборки Мой последний Google гусеничном (после нажатия Джанго-роботов прод) по-прежнему возвращающегося тем не менее, такая же ошибка.

У меня нет каких-либо специальных правил обхода контента, и было бы неплохо, даже без файла robots.txt, чтобы google индексировал весь сайт. У кого-нибудь есть мысли по быстрому исправлению, прежде чем я просто перейду к эксперименту с двумя другими упомянутыми здесь способами: http://fredericiana.com/2010/06/09/three-ways-to-add-a-robots-txt-to-your-django-project/?

источник

2013-08-23 Chris B.

Что вы получаете, когда вы пытаетесь получить доступ к robots.txt URL напрямую? –

Просто достигните 404 страницы –

[Согласно Google] (https://support.google.com/webmasters/answer/1067240?hl=ru) это сообщение означает, что ваш сервер в какой-то момент обслуживал сообщение об ошибке 5xx, а не только прямо 404. Удалите запись robots.txt в urls.py и попробуйте использовать функцию «Получить как Google» в Инструментах Google для веб-мастеров, чтобы проверить, все ли так. Вы должны надеяться получить статус «Не найдено». –

Я попытался удалить строку robots.txt из urls.py полностью и получить как google, но это не решило проблему.

(r'^robots\.txt$', include('robots.urls')),

Я исправил это, изменив мой корневой URLconf слегка

from django.http import HttpResponse 


(r'^robots\.txt$', lambda r: HttpResponse("User-agent: *\nDisallow: /*", mimetype="text/plain")),

Теперь Googlebot ползает это нормально. Хотел бы я лучше понять, почему это конкретное решение было для меня эффективным, но оно работает.

Благодаря Людвику за помощью.

источник

2013-08-24 02:38:30

, если у вас есть разрешение затем

Alias /robots.txt /var/www/---your path ---/PyBot/robots.txt

добавить псевдоним вашего virtual host. (В конфигурационном файле апача) аналогично для фавиконки

Alias /favicon.ico /var/www/aktel/workspace1/PyBot/PyBot/static/favicon.ico

источник

2015-01-13 12:07:39

Unreachable Robots.txt в приложении Django

ответ

Смежные вопросы