работающий сборщик sbt в intellij

Question

Я новичок в scala и sbt, и у меня проблемы с запуском проекта в intellij. Это пример проекта, который я пытался импортировать в intellij.

https://github.com/snowplow/spark-example-project

он отлично работает, если я запустить команду SBT сборки из командной строки, но если я пытаюсь создать «приложение» запустить конфигурацию в IntelliJ я получаю сообщение об ошибке в его зависимости: причиненный: Java. lang.ClassNotFoundException: org.apache.hadoop.util.Tool

Как запустить и отладить проект sbt в intellij?

Answer 1

Да, это вызов для запуска искры в Intellij: и «ответы» о том, как это сделать, изменяются на основе искровой версии и если вы убегаете от мастера или нет.

Лучше всего:

• "Проект импорта", а затем перейдите к spark_home каталогу.
• выберите «sbt project» (или если вы предпочитаете «проект maven»)
• Остальные параметры вы должны иметь возможность использовать значения по умолчанию.

Оговорка: этот процесс работает в мастера со всего начала 2015 года - и в выпущенном 1.3.0 отрасли, как в середине марта 2015.

Ранее было бы некоторые вовлечены операции требуется проект/модули Intellij после импорта были завершены.

Answer 2

Важной частью является правильное соответствие ваших зависимостей.

Мне нравится создавать папку lib и размещать там свои искровые файлы, например.

в Lib:

spark-streaming_2.10-2.1.0.jar 

spark-sql_2.10-2.1.0.jar 

spark-core_2.10-2.1.0.jar 

Тогда мой файл SBT:

name := "Project_Name" 

version := "1.0" 

scalaVersion := "2.10.6" 
retrieveManaged := true 

// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "2.1.0" 
// https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10 
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "2.1.0" 
// https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10 
libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "2.1.0" % "provided" 

Как вы можете видеть, я настоятельно рекомендую вам получить как .jar и строку, которую вы придерживаться в файле SBT от https://mvnrepository.com

Также ознакомьтесь с версиями файлов jar. Они должны быть одинаковыми (2.10-2.1.0 в моем случае)