Как использовать Apache Spark с Apache Nutch

Question

Мне нужно сканировать некоторые данные из Интернета и выполнять некоторые аналитики. Для сканирования я решил использовать Apache Nutch 2.3.1 и для аналитики, я решил использовать Apache Spark. Теперь, как я могу интегрировать Nutch с solr. Согласно Nutch website, я узнал, что он может поддерживать искру 1.4.1. Может ли кто-то подтвердить, что мое дизайнерское решение правильно, а во-вторых, я не нашел учебника для интеграции этих двух. Может ли руководство soneone

Answer 1

Check Sparkler, мы работаем над ним как прототип для Nutch on Spark, http://github.com/USCDataScience/sparkler.git