SparkAction для пряжи-кластера

Question

Использование песочницы предварительного просмотра Hortonworks HDP 2.3 (oozie: 4.2.0.2.3.0.0-2130, spark: 1.3 и Hadoop: 2.7.1.2.3.0.0-2130), я пытаюсь вызвать oozie искровое действие, используя «нить-кластер» в качестве мастера. Пример, приведенный в Oozie Spark Action, предназначен для запуска искрового действия на «локальном» хозяине.

На этой же странице также предлагается возможность работать на пряже, должна быть доступна искровая деталь.

Я два вопроса

• Как мы делаем искры в сборе банка доступны Спарк Action? Должен ли я использовать элемент jar в искровом исходе oozie?

• я получаю следующее сообщение об ошибке, когда я представить работу без добавления сборки банки явно

  Using properties file: null 
  Using properties file: null 
  Parsed arguments: 
      master     yarn-master 
      deployMode    cluster 
      executorMemory   512m 
      executorCores   null 
      totalExecutorCores  null 
      propertiesFile   null 
      extraSparkProperties Map() 
      driverMemory   null 
      driverCores    null 
      driverExtraClassPath null 
      driverExtraLibraryPath null 
      driverExtraJavaOptions null 
      supervise    false 
      queue     null 
      numExecutors   3 
      files     null 
      pyFiles     null 
      archives    null 
      mainClass    com.foo.bar.spark.examples.WordCountSparkJob 
      primaryResource   hdfs://sandbox.hortonworks.com:8020/apps/foo/sandbox.hortonworks.com/1.201-SNAPSHOT/oozieapp/lib/abc-1.201-SNAPSHOT.jar 
      name     Spark Example 
      childArgs    [inputpath=hdfs://sandbox.hortonworks.com:8020/tmp/bcp_examples/input/] 
      jars     null 
      verbose     true 
  
  Default properties from null: 
  Error: Could not load YARN classes. This copy of Spark may not have been compiled with YARN support. 
  Run with --help for usage help or --verbose for debug output 
  Intercepting System.exit(-1) 
  Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [-1] 
  

Цените любые указатели о том, как решить эту проблему.

Answer 1

По умолчанию sharelib, распределенный с Oozie в HDP2.3 для искрового действия, не собирается для YARN.

Если вы установили искру через дистрибутив hortonworks, вы можете просто заменить содержимое sharelib для искрового действия установленной версией.

E.g. (Как пользователь oozie)

hadoop fs -mv /user/oozie/share/lib/spark /user/oozie/share/lib/spark-bak 
hadoop fs -mkdir /user/oozie/share/lib/spark 
hadoop fs -put /usr/hdp/current/spark-client/lib/* /user/oozie/share/lib/spark 
hadoop fs -cp /user/oozie/share/lib/spark-bak/oozie* /user/oozie/share/lib/spark 

Answer 2

Эта ошибка вызвана класс org.apache.spark.deploy.yarn.Client не может быть загружен. И он содержится в банке с искровой сборкой, которую можно найти в /usr/hdp/current/spark-client/lib/. После того, как вы добавите этот файл в hdfs://hd-host:port/user/oozie/share/lib/spark, вам необходимо перезапустить oozie, чтобы он был действителен немедленно.