2015-05-05 4 views
10

Я использую nutch 2.3. Все задания запускаются один за другим, т. Е. Первый генератор, выборка, анализ, индекс и т. Д. Я хочу запускать несколько заданий одновременно. Я знаю, что некоторые задания не могут выполняться параллельно, но другие могут, например, выполнять синтаксический анализ, dbupdate, indexjob следует запускать с извлечением.Как запустить apache nutch различные задания параллельно.

Возможно ли это? Моя основная цель - постоянно запускать работу по набору. Я полагаю, что мы можем сделать это с другой меткой времени. Может ли кто-нибудь вести меня надлежащим образом?

+0

Может быть, вы можете использовать hadoop с nutch. –

ответ

5

Если вы заходите на сервер веб-приложений nutch, вы обнаружите, что он может выполнять многократное обходное задание параллельно. Вы должны проверить исходный код Nutch 2.3 для webapp [NutchUiServer]. Надеюсь это поможет.

Смежные вопросы