Выполнение задания Oozie

Question

Я пытаюсь настроить Oozie для работы с кластером hadoop-2.7.1. Кажется, все работает нормально, YARN, Hue, MapReduce и Spark. Работа отправить по yarn jar... команде закончить правильно, но посылает какую-то работу с oozie, либо CLI oozie job ... -run или Hue, работой застряла на уровне 33% и журналы узловых показать это:

2015-11-06 06:08:56,121 INFO [main] org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at localhost/127.0.0.1:18030 
2015-11-06 06:08:57,165 INFO [main] org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:18030. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 
... 

Я не использую 18030 порта где-нибудь в моей конфигурации, вероятно, я должен изменить свое имя хоста от localhost к сетевому имени хоста. Но где его настроить? Я попытался изменить yarn.resourcemanager.scheduler.address, но это было не так.

EDIT: Я бегу oozie job -config examples/apps/shell/job.properties -run с job.properties, содержащий:

nameNode=hdfs://master:8020 
jobTracker=master:8032 
queueName=default 
examplesRoot=examples 
oozie.libpath=/data/shared/hadoop-2.7.1/etc/hadoop 

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/shell 

Answer 1

Ошибка происходит при попытке обратиться к менеджеру ресурсов.

Вышеупомянутый лаглинь печатается в RMProxy.java:

LOG.info("Connecting to ResourceManager at " + rmAddress); 

При использовании Oozie с MRv1, в файле «job.properties», значение JobTracker устанавливается в адрес работы следопыта:

JobTracker = {JobTracker хоста}: {JobTracker порт}

Но, Whe п перенастройки Oozie работы в MRv2, вам необходимо изменить "job.properties", чтобы сделать JobTracker значения, чтобы указать адрес Ресурсного менеджера:

JobTracker = {RM хоста}: {RM Port}

Пожалуйста, обратитесь к ссылке здесь: https://support.pivotal.io/hc/en-us/articles/203355837-How-to-run-a-MapReduce-jar-using-Oozie-workflow

jobTracker = Variable to define the resource manager address in case of Yarn implementation. Format: <resourcemanager_hostname>:<port> 

EDIT: Я прошел через источник со Hadoop де. Единственное место, где используется порт «18030», находится в «SLS» (симулятор нагрузки планировщика ниток).

СЛС имеет нити-site.xml файл (присутствует в местоположении: \ Hadoop-инструменты \ Hadoop-СЛС \ SRC \ Основной \ выборки конф \ пряжи site.xml), которая имеет следующую конфигурацию:

<property> 
    <description>The address of the scheduler interface.</description> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>localhost:18030</value> 
    </property> 

Из вашего описания, кажется, что используемый пряжа-сайт.xml похож на тот, который используется SLS.