Как интегрировать Spark с проектом Scala в IntelliJ IDE?

Question

Я использую IntelliJ IDE для игры с Scala и Spark. В этой IDE я создал проект Scala с объектом Scala (см. Рисунок).

Я использовал код образца регрессии из этого web site.

Я также загрузил Spark Framework в качестве пользователя без Maven из GitHub (как объяснено here).

Мой вопрос заключается в том, как связать эту конструкцию Spark с моим проектом Scala? Также мне нужно интегрировать некоторые дополнительные библиотеки, чтобы иметь возможность работать с Spark MLLib?

Answer 1

Я бы рекомендовал создать simple sbt project со следующими зависимостями в build.sbt

libraryDependencies ++= Seq( 
    "org.apache.spark" %% "spark-core" % "1.5.1", 
    "org.apache.spark" %% "spark-sql" % "1.5.1") 

Затем Открыть его через меню, открывающееся импортировать проект из SBT.

Когда IDEA завершает импорт \ загрузку \ индексирование библиотек, вы можете просто ctrl-shift-D и voilà - у вас есть искровая консоль с синтаксисом, идеально выделяющая многострочное редактирование и завершение.

Тогда вы можете создать каталог /src/main/scala, если он не существует. Или вы могли бы сделать IDEA создать для Вас в вариантах:

Далее следует создать новый объект в каталог scala, выберите "новый класс SCALA - объект":

Затем напишите код в методе main в вашем объекте и запустите его через ctrl-shift-F10 или команду контекста

И нравятся ваши результаты