Спарк РДД класса не найдено

Question

Я новичок Спарк и нужна помощь с ошибкой: java.lang.NoClassDefFoundError: org/apache/spark/rdd/RDD$

я создаю автономный пример Спарк в Scala. Я запустил sbt clean package и sbt assembly для упаковки искрового кода scala. Оба успешно завершены без каких-либо ошибок. Любая операция на RDD вызывает ошибку. Любые указатели для исправления этой проблемы будут действительно полезны.

Я использую команду spark-submit.

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.GroupTest /Users/../spark_workspace/spark/examples/target/scala-2.10/spark-examples_2.10-1.3.0-SNAPSHOT.jar

Answer 1

мне удалось бросить эту ошибку и получить мимо него. Это, безусловно, ответ YMMV, но я оставляю его здесь, если он в конечном итоге поможет кому-то.

В моем случае, я запускал искробельную установку (1.2.0) и mahout (0.11.0) на mac. Это было довольно сложно для меня, потому что, если бы я запускал командную строку mahout вручную, я не получил ошибку, но если бы я вызвал ее из некоторого кода на python, она выбросила ошибку.

Я понял, что обновил переменную SPARK_HOME в своем профиле, чтобы вместо этого использовать 1.4.1, и повторно использовал его в моем терминале. Терминал, на котором я запускал код python, по-прежнему использовал 1.2.0. Я повторно получил свой профиль на моем терминале python, и теперь он «просто работает».

Все, что я чувствую, очень черная магическая, если бы я был доволен догадкой разумной причиной этой ошибки, возможно, это потому, что одна движущаяся часть предполагает другую искровую версию, архитектуру, независимо от того, что у вас есть. Это похоже на решение, намеченное в комментариях.