java.lang.NoClassDefFoundError для spark-submit

Question

Я построил файл * .jar для моего проекта apache spark scala с использованием maven. Когда я пытаюсь выполнить основной класс, в некоторой строке кода он предоставляет ошибку Exception in thread "main" java.lang.NoClassDefFoundError для класса org.apache.spark.ml.recommendation.ALS.

Я запустить искровым представить следующим образом:

sudo -u hdfs /usr/bin/spark-submit --class 
org.apache.spark.examples.ml.MyTest spark-examples-*.jar --rank 10 --path 
/home/ubuntu/data 

Похоже на то только не может найти org.apache.spark.ml.recommendation.ALS. У меня есть следующие операторы импорта в этом классе:

package org.apache.spark.examples.ml 

import java.util.Date 
import org.apache.spark.{SparkConf, SparkContext} 
import org.apache.spark.examples.mllib.AbstractParams 
import org.apache.spark.ml.recommendation.ALS 
import org.apache.spark.rdd.RDD 
import org.apache.spark.sql.{Row, SQLContext} 
import scopt.OptionParser 

Как решить эту проблему?

UPDATE 1:

Я добавил maven-asseblypom.xml плагин, а также assembly.xml в папку resources. Затем я успешно сделал mvn package, но опять та же проблема.

UPDATE 2:

jar -tvf spark-examples-1.5.3-SNAPSHOT-hadoop2.2.0.jar | grep "ALS" 

    2678 Mon May 23 13:11:44 CEST 2016 org/apache/spark/examples/ml/recommendation/MyFunc$ALSParams.class 

Answer 1

Сначала выяснить причину отказа.
1) Не хватает класса?
2) или Это проблема с инициализацией.

Чтобы узнать, доступен ли класс для запуска команды jar -tvf <.jar> | grep "class name", вы можете узнать, присутствует ли файл класса или нет или его инициализация.