Почему поисковые роботы не запускают javascript?

Question

Я работал с некоторыми расширенными приложениями javascript, используя множество аякс-запросов для рендеринга моей страницы. Чтобы сделать сканирование приложений (Google), я должен следовать https://developers.google.com/webmasters/ajax-crawling/?hl=fr. Это говорит нам о том, чтобы сделать что-то вроде: перепроектирование наших ссылок, создание снимков html, ..., чтобы сделать сайт доступным для поиска.

Интересно, почему поисковые роботы не работают JavaScript, чтобы получить отображаемой странице и индекс на нем. Есть ли причина этого? Или это недостающая особенность поисковых систем, которые могут появиться в будущем?

Answer 1

Хотя GoogleBot фактически обрабатывает сайты, написанные в js. Большая проблема с сайтами ajax заключается в том, что даже если GoogleBot может выполнять js и обрабатывать запросы ajax.

Невозможно, чтобы веб-искатель узнал, когда страница закончила загрузку. По этой причине веб-искатель может загружать страницу и индексировать страницу до того, как она начнет выполнять ajax-запросы. Скажем, скрипт будет выполнен на странице прокрутки. Очень вероятно, что бот Google не будет запускать все возможные события.

Другая проблема заключается в навигации

Поскольку навигация может быть сделано без перезагрузки страницы, один URL можно сопоставить с многократным «результат просмотра». По этой причине google просит разработчиков сохранить копию страниц с использованием статических страниц для поддержки тех страниц, которые были бы недоступны в противном случае. Они будут проиндексированы.

Если ваш сайт может иметь каждую страницу, доступную через полный URL-адрес. Тогда у вас не должно быть проблем с индексированием вашего сайта.

Тем не менее, скрипты будут запущены. Но не уверен, что искатель будет индексировать страницу после завершения обработки всех скриптов.

Вот ссылка:

GoogleBot smarter: Она была написана в 2010 году, и мы можем ожидать, что webcrawlers получили гораздо умнее с тех пор.

Answer 2

Чтение чистого HTML - это путь быстрее, чем ожидание/вызов функций javascript и т. Д., А затем уведомление, как настроить страницу. Я думаю, что это главная причина.

Другой может быть, что вся обходная автоматика - так что, опять же, чтение статической страницы намного проще и имеет гораздо больший смысл. Как Javascript содержание страницы может меняться каждую секунду и т.д., что делает искателю «спутать»

Считается, что это еще не реализовано в поисковых системах, я думаю, что он не придет в ближайшее будущее.

Answer 3

Сложно читать страницы со сценариями для сканеров, потому что речь идет о динамически меняющемся контенте. И сканеры заботятся не только о первом посещении сайта, они перепроверяют индексированные страницы каждую неделю - два в быстром режиме, просто сравнивая способ «найти 10 различий» для изменений контента и ссылок. Повторная проверка страниц со сценариями будет слишком болезненной и дорогостоящей для сканеров в мировой сети.