Недавно я добавил новую функцию на сайт, которая использует AJAX для загрузки панелей входа и регистрации.700 Google Crawl Errors, вызванные AJAX?
После загрузки я получил множество ошибок Google Crawl, около 700!
URL-адрес ошибки не отображается нигде в источнике страницы, за исключением URL-адреса, используемого функцией jQuery .load().
Возможно, Google пытается обходить URL-адрес, используемый моим кодом JavaScript?
Ознакомьтесь с этой страницей из Документов Google. http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174993. Это дает вам некоторые идеи о ajax и о том, как не допустить, чтобы бот возился с вашим материалом ajax. В частности, «Что делать, если на моем сайте есть URL-адреса хеш-фрагментов, которые нельзя сканировать?» вопрос.
Спасибо! Я рассмотрю это. В качестве побочного примечания, доза Google наказывает ваш сайт за внутренние ошибки сервера? Мой код ошибки - 500. – shrewdbeans
Люди предполагают, что вас наказывают за 500 ошибок. Я не мог найти ничего, что конкретно говорило «мы наказываем» за 500 (см. Их Руководство для веб-мастеров -> http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=35769), но оно будет стоять что они делают, поскольку они наказывают за орфографические ошибки, валидность W3C и целый ряд других мелочей. В конце концов, единственные люди, которые действительно знают, работают в Google, и они не скажут вам, как сильно вы пострадали от этих 500-х. – davehale23
еще в стороне: если вас интересует, как googlebot видит ваш сайт, используйте этот https://www.google.com/webmasters/tools/, он показывает ошибки DNS, ошибки подключения к серверу и всевозможные вещи. – davehale23
У Google, похоже, есть способ обхода большого количества URL-адресов, которые я никогда не собирался сканировать, так что вполне возможно, да. –
Спасибо, это способ остановить Google от этого? Я предполагаю robots.txt? – shrewdbeans
Я согласен с Громовым Кроликом. Я даже видел, что googlebot «угадывает» вещи, которые, по его мнению, являются возможными URL-адресами. – davehale23