NoClassDefFoundError при использовании scopt OptionParser с Spark

Я использую Apache Spark версии 1.2.1 и Scala версии 2.10.4. Я пытаюсь привести пример MovieLensALS. Тем не менее, я столкнулся с ошибками с библиотекой scopt, которая является требованием в коде. Любая помощь будет оценена по достоинству. Мой build.sbt выглядит следующим образом:NoClassDefFoundError при использовании scopt OptionParser с Spark

name := "Movie Recommender System" 

version := "1.0" 

scalaVersion := "2.10.4" 

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.1" 

libraryDependencies += "org.apache.spark" %% "spark-graphx" % "1.2.1" 

libraryDependencies += "org.apache.spark" % "spark-mllib_2.10" % "1.2.1" 

libraryDependencies += "com.github.scopt" %% "scopt" % "3.2.0" 

resolvers += Resolver.sonatypeRepo("public")

и ошибки я получаю следующие:

Exception in thread "main" java.lang.NoClassDefFoundError: scopt/OptionParser 
    at MovieLensALS.main(MovieLensALS.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
    at java.lang.reflect.Method.invoke(Method.java:597) 
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

    Caused by: java.lang.ClassNotFoundException: scopt.OptionParser 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:307) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:248) 
    ... 8 more 
    Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

При управлении сборки SBT построить банку, я получаю следующие ошибки:

[error] Not a valid command: assembly 
[error] Not a valid project ID: assembly 
[error] Expected ':' (if selecting a configuration) 
[error] Not a valid key: assembly 
[error] assembly 
[error]  ^

Редактировать: Согласно предложению Джастина Пипхони, решение, указанное на странице sbt GitHub, помогло исправить эту ошибку. В основном создайте файл assembly.sbt в каталоге project/и добавьте строку addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

Обратите внимание, что версия должна быть добавлена в соответствии с используемой версией.

источник

2015-03-29 krishnang

Как вы построили свою банку? –

@JustinPihony Использование пакета sbt – krishnang

Вам необходимо упаковать scopt в свою банку. По умолчанию sbt этого не делает. Чтобы создать эту жирную банку, вам нужно использовать sbt-assembly

источник

2015-03-29 02:26:50

Отредактированный вопрос с деталями сборки sbt – krishnang

Пожалуйста, проверьте сейчас. – krishnang

Вы следили за настройкой своей версии sbt. Похоже, что плагин установлен неправильно. –

NoClassDefFoundError при использовании scopt OptionParser с Spark

ответ

Смежные вопросы