1
У меня возникла проблема, когда я пытаюсь отправить приложение Spark на пряжу из затмения. Я пытаюсь представить простую программу SVM, но я даю ошибку ниже. У меня есть MacBook, и я буду очень благодарен, если кто-нибудь дать мне подробный ответОтправка приложения Spark на YARN из Eclipse IDE
16/09/17 10:04:19 ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalStateException: Library directory '.../MyProject/assembly/target/scala-2.11/jars' does not exist; make sure Spark is built.
at org.apache.spark.launcher.CommandBuilderUtils.checkState(CommandBuilderUtils.java:248)
at org.apache.spark.launcher.CommandBuilderUtils.findJarsDir(CommandBuilderUtils.java:368)
at org.apache.spark.launcher.YarnCommandBuilderUtils$.findJarsDir(YarnCommandBuilderUtils.scala:38)
at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:500)
at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:834)
at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:167)
at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:149)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
at SVM.main(SVM.java:21)
Перейдите в раздел «Конфигурации запуска» -> «Окружающая среда в Eclipse» и добавьте переменную окружения ** SPARK_HOME **. –
Спасибо Ракешу за ваш идеальный ответ. он работал :), но теперь я вижу эту ошибку – marjan
16/09/17 14:44:56 WARN DFSClient: Исключение DataStreamer org.apache.hadoop.ipc.RemoteException (java.io.IOException): Файл/пользователь/marjanasgari/.sparkStaging/application_1474085529591_0014/__ spark_libs__3176835706727949960.zip может быть реплицирован только на 0 узлов вместо minReplication (= 1). Работает 0 datanode (s), и ни один узел (ы) не исключен в этой операции. – marjan