Я получаю ниже исключения, вызывая искрение из рабочего процесса oozie. Любая идея в чем может быть проблема?Невозможно представить искру от oozie
org.apache.spark.SparkException: Применение application_1480735305639_6874 закончил с неудавшейся статусом на org.apache.spark.deploy.yarn.Client.run (Client.scala: 940) в org.apache.spark .deploy.yarn.Client $ .main (Client.scala: 986) at org.apache.spark.deploy.yarn.Client.main (Client.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Meth od.invoke (Method.java:606) at org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 672) at org.apache.spark. deploy.SparkSubmit $ .doRunMain $ 1 (SparkSubmit.scala: 180) at org.apache.spark.deploy.SparkSubmit $ .submit (SparkSubmit.scala: 205) at org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 120) at org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala) at org.apache.oozie.action.hadoop.SparkMain.runSpark (SparkMain.java:185) at org. apache.oozie.action.hadoop.SparkMain.run (SparkMain.java:176) at org.apache.oozie.action.hadoop.LauncherMain.run (LauncherMain.java:49) at org.apache.oozie.action. hadoop.SparkMain.main (SparkMain.j AVA: 46) на sun.reflect.NativeMethodAccessorImpl.invoke0 (нативный метод) на sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) на sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) на java.lang.reflect.Method.invoke (Method.java:606) на org.apache.oozie.action.hadoop.LauncherMapper.map (LauncherMapper.java:236) на org.apache.hadoop.mapred.MapRunner .run (MapRunner.java:54) на org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:453) на org.apache.hadoop.mapred.MapTask.run (MapTask.java:343) at org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runSubtask (LocalContainerLauncher.java:378) at org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.runTask (LocalContainerLauncher.java:296) at org.apache.hadoop.mapred.LocalContainerLauncher $ EventHandler.access $ 200 (LocalContainerLauncher.java:181) at org.apache .hadoop.mapred.LocalContainerLauncher $ EventHandler $ 1.run (LocalContainerLauncher.java:224) у java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:471) at java.util.concurrent.FutureTask.run (FutureTask.java:262) на java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) на java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:615) на java.lang. Thread.run (Thread.java:745)
Можете ли вы дать больше информации о том, что вы пытаетесь запустить? Или вы считаете, что это более общая проблема, чем ваша конкретная задача? – LordWilmore
Spark просто говорит, что «YARN job failed» => вы проверили журналы YARN, чтобы получить фактическое сообщение об ошибке ??? Например. с командной строкой 'yarn application -status application_1480735305639_6874', тогда' пряжи журналов -applicationId application_1480735305639_6874' или с помощью веб-консоли YARN ... –