Ограничение URL-адресов только для почтового домена URL-адреса crawler4j

Question

Я хочу, чтобы crawler4j посещал страницы таким образом, что они принадлежат домену только в семени. Там много доменов в семенах. Как мне это сделать?

Предположим, я добавляю семена URL-адреса:

• www.google.com
• www.yahoo.com
• www.wikipedia.com

Теперь я начинаю искателем но я хочу, чтобы мой искатель посещал страницы (как и shouldVisit()) только в трех доменах. Очевидно, что есть внешние ссылки, но я хочу, чтобы мой искатель ограничивался только этими доменами. Поддомены, подпапки в порядке, но не вне этих доменов.

Answer 1

Если вы пытаетесь ограничить искателю только URL с теми же областях, как семенные URLs, затем:

1. Extract доменные имена из семенных URL.

2. Напишите свой класс искателя (который расширяет WebCrawler) с помощью метода shouldVisit, чтобы отфильтровать любые URL-адреса, домены которых не установлены.

3. Конфигурируйте контроллер, добавьте семена и запустите его обычным способом ... согласно примеру here.

Answer 2

Опубликовано от имени OP:

Got решение здесь: http://code.google.com/p/crawler4j/issues/detail?id=94#c1