Как поисковые системы видят динамические профили?

Question

Недавно поисковые системы смогли разместить динамический контент на сайтах социальных сетей. Я хотел бы понять, как это делается. Существуют ли статические страницы, созданные таким сайтом, как Facebook, которые часто обновляются. Google пытается сохранить все возможные имена пользователей?

Как я понимаю, такая страница, как www.facebook.com/username, не является фактическим файлом, хранящимся на диске, но является сокращением для запроса типа: выберите имя пользователя от пользователей и отобразите информацию на странице. Как Google знает о каждом пользователе, это становится еще более сложным, когда речь идет о вещах, таких как твиты.

EDIT: Я думаю, я действительно не спрашивал, о чем я хотел знать. Должен ли я быть таким же большим, как твиттер или facebook, чтобы Google мог делать специальные способы обхода моего сайта? Будет ли Google автоматически искать мои профили пользователей, если я разрешу кому-либо их просматривать? Если нет, что мне нужно сделать, чтобы сделать эту работу?

Answer 1

В случае твитов, в частности, Google не «ползет» для них в традиционном смысле этого слова; они имеют integrated with Twitter, чтобы обеспечить результаты поиска в режиме реального времени.

В более общем случае вашего вопроса динамический контент не является новостью для Facebook или Twitter, хотя это может показаться. Google сканирует URL-адрес; URL-адрес содержит данные HTML; Google индексирует его. Является ли это динамическим запросом, который отображает страницу, или является кешем статического HTML, мало что влияет на процесс индексирования в теории. На практике это намного больше (см. Комментарий Майкла Б. ниже).

И см. Краткое сообщение Vartec о том, как Google может найти все эти общедоступные профили Facebook, фактически не войдя и не зацикляясь вокруг FB.

Хорошо, что было значительно упрощено, но давайте посмотрим, что еще люди говорят ..

Answer 2

Насколько я знаю, Google не умеет читать и сохранять фактическое содержимое профилей, потому что у бота Google нет учетной записи Facebook, и это было бы серьезным нарушением конфиденциальности.

Бот работает, нажимая facebook.com, а затем следуя каждой ссылке, которую он может найти. Независимо от того, что он видит на странице, на которую он попадает, он хранится. Поэтому, даже если он следует динамическому URL-адресу, например, www.facebook.com/username, он просто запомнит все, что он увидел, когда он туда побывал. Надеюсь, в этом конкретном случае это не является все личные данные указанного пользователя.

Кроме того, facebook может и предоставляет специальные инструкции, которые могут выполнять поисковые роботы, так что результаты Google не включают в себя кучу страниц входа.

Answer 3

1. профили могут быть связаны снаружи;
2. сайт может предоставить карту сайта