Отправить вакансию в Spark, используя кластер пряжи

Я не могу отправить задание в кластер пряжи. Работа выполняется нормально под yarn-client. Когда вы отправляете его на адрес yarn-cluster, этот журнал поступает несколько раз.Отправить вакансию в Spark, используя кластер пряжи

Application report for application_1421828570504_0002 (state: ACCEPTED)

и потерпел неудачу со следующим исключением.

diagnostics: Application application_1421828570504_0002 failed 10 times due to AM Container for app 
attempt_1421828570504_0002_000010 exited with exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 
org.apache.hadoop.util.Shell$ExitCodeException:

источник

2015-01-21 Rahul

Добро пожаловать! Насколько я понимаю, исключение говорит вам, что что-то вышло с ненулевым кодом выхода. Если вам не повезет, и кто-то придумает хорошую догадку, я думаю, вам нужно посмотреть на журналы и выяснить, что произошло, и, надеюсь, также _why_. –

Вы должны взглянуть на бревнах приложения:

> yarn logs --applicationId application_1421828570504_0002

Это позволит получить некоторую отладочную информацию о фактическом пробеге в искровых контейнерах. Поскольку он выполняется локально, но не на кластере, моя дикая догадка будет отсутствовать в определении SparkContext. Посмотрите на мой answer to this question на исправление.

источник

2015-11-26 10:31:56

Отправить вакансию в Spark, используя кластер пряжи

ответ

Смежные вопросы