Как Google сканирует страницу

Question

Мне просто интересно, как Google сканирует страницу, у меня есть код, чтобы рассказать мне, есть ли Google Bot на моем сайте и на каких страницах он включен.

Если Google сканирует страницу, например, /page.html, на которой есть ссылки на этой странице, чтобы сказать 10 других страниц сайта.

Будет ли он добавлять только page.html page.html, поскольку это страница, на которой она включена, или сохранит ли все ссылки, которые находятся на странице.html, для возможной индексации?

Answer 1

Это, вероятно, ответить на ваши вопросы: http://www.google.com/insidesearch/howsearchworks/crawling-indexing.html

Answer 2

Если Google ползает страницу, например, /page.html, который содержит ссылки на эту страницу, чтобы сказать 10 других страниц сайта.

Будет ли он добавлять только page.html page.html, поскольку это страница, на которой она включена, или сохранит ли все ссылки, которые находятся на странице.html, для возможной индексации?

Ссылки - это то, как боты Google обходят Интернет, чтобы найти контент. Да, они будут поставлены в очередь для индексирования, если они не будут каким-то образом исключены (robots.txt, метаиндекс NOINDEX и т. Д.)

Answer 3

Да, гусеница Google - Googlebot - сохранит эти ссылки для возможной индексации, если только restricted by the site's webmaster. Процесс сканирования

Googlebot начинается со списком веба-страниц URL-адреса, генерируемых из предыдущих процессов сканирования и дополненного с сайтом данных, предоставляемых веб-мастерами. Поскольку Googlebot посещает каждый из этих сайтов , он обнаруживает ссылки (SRC и HREF) на каждой странице и добавляет их к его списку страниц для сканирования.