Как поисковые системы получают несвязанные страницы?

Question

я заметил, что довольно много Dropbox страницы индексируются Google, Bing и т.д., и было интересно, как эти поисковые системы получают, например, ссылки, подобные этим:

https://dl.dropboxusercontent.com/s/85cdji4d5pl5qym/37-71.pdf 

https://dl.dropboxusercontent.com/u/11421929/larin2014.pdf 

Учитывая, что нет ссылки на dl.dropboxusercontent.com следовать, а структура пути не так просто догадаться, как возможно, что поисковая система получает такую ​​ссылку?

Одним из решений может быть то, что оно было размещено на форуме и подхвачено поисковой системой, но я просмотрел довольно много ссылок и проверил обратные ссылки без успеха. Я также заметил, что Bing и Yahoo показывают значительное количество результатов, чем Google, что означало бы, что Bing лучше справляется с поиском этих ссылок, что кажется мне маловероятным.

Answer 1

Даже если документ действительно отсоединен (ссылка отсутствует на их сайте, ссылка отсутствует на другом сайте другого пользователя, нет sitemap, нет Referer журнал с сайта, связанного в документе и т. Д.), Это все еще возможно для поиска чтобы найти ссылку.

Два способа являются:

• Кто-то может представить URL в поисковую систему (будь то с помощью публичного инструмента, или с помощью учетной записи веб-мастер сайта).

• Поисковая система может получать все URL-адреса, которые некоторые пользователи посещают в своих браузерах. Это может произойти, например, когда пользователь установил панель инструментов из этой поисковой системы. Это случай с Bing, см мой related answer on Webmasters SE:

  Microsoft подтвердила, что они обнаруживают и индексировать URL-адреса, которые они находят через пользователей серфинг в Интернете с Bing Toolbar установлен.

И может быть больше способов, конечно.