Ошибка при запуске Spark REPL

Question

У меня есть предварительная версия Spark 1.4.1, и я запускаю HDP 2.6. когда я пытаюсь запустить spark-shell, он дает мне сообщение об ошибке следующим образом.

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream 
    at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:111) 
    at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:111) 
    at scala.Option.getOrElse(Option.scala:120) 
    at org.apache.spark.deploy.SparkSubmitArguments.mergeDefaultSparkProperties(SparkSubmitArguments.scala:111) 
    at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:97) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:107) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 

В чем проблема?

Answer 1

Возможно ли, что ваш дом Hadoop не установлен, как здесь?

Cannot find hadoop installation: $HADOOP_HOME must be set or hadoop must be in the path

Answer 2

ClassNotFoundException происходит, когда загрузчик классов не может найти необходимый класс в классе пути. Итак, в основном вы должны проверить свой путь класса и добавить класс в путь к классам.

Проверьте, добавлен ли hadoop-common-0.21.0.jar в ваш путь к классу.