Apache Spark: проблема с примером Scala

Я пытаюсь научиться использовать Apache Spark, и у меня есть проблема с простым примером, но я не могу найти решение. Я работаю над Ubuntu 13.04 с Java-7-Oracle и scala 2.9.3. Когда я пытаюсь запустить примеры SparkPi я получаю этот выход:Apache Spark: проблема с примером Scala

[email protected]:/usr/local/spark$ ./bin/run-example SparkPi 10 
java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
     at java.lang.Class.forName0(Native Method) 
     at java.lang.Class.forName(Class.java:270) 
     at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:337) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

Это пример шоу в Спарк документации, но я не понимаю, в чем проблема :(

источник

2014-12-03 bigz90

Вы можете написать свою версию искровой и документацию вы пытались следовать? – gonbe

Искры версии 1.1.1 и это документация: http://spark.apache.org/docs/latest/programming-guide.html – bigz90

Вы можете загрузили источник релиз, а не предварительно построен?

Чтобы построить и собрать с SBT, вы можете запустить sbt assembly в каталоге искрой корневого каталога.

источник

2014-12-04 01:15:59 Laurent

Я загрузил готовый выпуск :) – bigz90

Решение было командой 'sbt/sbt clean assembly'! При этом пример работает правильно! :) – bigz90

Странно. Если вы загрузили готовый выпуск, вам не нужно его самостоятельно создавать. – gonbe

Ваш каталог установки/USR/местные/искра, которая не содержит требуемый класс.

Попробуйте извлечь извлеченный файл tgz с http://spark.apache.org/downloads.html. Cd в каталог и запустить команду example.

Убедитесь, что у вас есть Lib/искровые примеры-XXX-YYY.jar при запуске bin/вводного пример

источник

2014-12-04 15:28:35 gonbe

Apache Spark: проблема с примером Scala

ответ

Смежные вопросы