Сканирование всего содержимого веб-сайта

Question

Я указываю источник контента как внутренний веб-сайт без sharepoint

например. http://internal.example.com

Однако полный обход, который когда-либо сканирует только 22 страницы в корневом каталоге веб-сайта (их 100), если я не укажу «Пользовательский - указать глубину страницы и переходы сервера:» и оставить «Глубина страницы» и « Limit Server Hops 'as Unlimited

Который тогда заставляет обход идти умственно!

Обновление: Я использую MS Search Server Express 2008

Answer 1

Вы можете точно определить, какой инструмент/технологии вы используете, чтобы сделать это ползание. Кроме того, вы пробовали что-то другое, кроме неограниченного, и каковы результаты?

Answer 2

Wget довольно умный. Вот командная строка, которую я использую для рекурсивно сайтов моментальных снимков.

wget -r -k -K --no-parent http://internal.example.com/

http://gnuwin32.sourceforge.net/packages/wget.htm