Я пытаюсь создать пример потокового твиттера в иске, используя scala.Spark 2.0.2 twitter streaming не найден в apache bahir
- Спарка Версия: 2.0.2
- Scala Verision: 2.11.8
При добавлении внешних баночек для искры я получил искру потоковой (искровой streaming_2.11-2.0.2.jar) из моей инсталляционной папки, но при добавлении twitter streaming jar из apache bahir я получил последнюю версию (spark-streaming-twitter_2.11-2.0.1.jar).
Так во время бега я получаю ошибку ниже в затмении
отсутствует или недействительный зависимости обнаруженного во время загрузки файла класса «TwitterUtils.class». Не удалось получить доступ к термину twitter4j в пакете, потому что он (или его зависимости) отсутствует. Проверьте определение сборки для отсутствующих или противоречивых зависимостей. (Повторно запустите с
-Ylog-classpath, чтобы увидеть проблемный путь к классам.) Полная перестройка может помочь, если «TwitterUtils.class» был скомпилирован против несовместимой версии. TwitterWordCount Неизвестная проблема Scala
Я добавляю правильную банку или вам нужно изменить любой код?
Ниже приведены мои импорт
import org.apache.spark.streaming.twitter._
import org.apache.spark.streaming.{StreamingContext,Seconds}