jobTracker property in job.properties of oozie

Question

Я использую hadoop-2.7.2 и oozie-4.0.1, что должно быть значением jobTracker в файле job.properties рабочего процесса oozie. Я ссылался на эту ссылку;

http://hadooptutorial.info/apache-oozie-installation-on-ubuntu-14-04/

, который утверждает, что в ПРЯЖАХ архитектуре работы трекер работает на 8032 порт и я в настоящее время с помощью этого. Но в mapred-site.xml hasoop у меня есть значение hdfs: // localhost: 54311 для свойства job tracker.

Я в замешательстве, может кто-нибудь объяснить мне или предоставить полезные ссылки для установки oozie и выполнения заданий на oozie.

В настоящее время я не могу запускать рабочие задания на oozie, он находится в состоянии Running в течение длительного времени, а затем он приостанавливается с ошибкой соединения. Задание DAG также не генерируется, оно бросает некоторые исключения пользовательского интерфейса.

Пожалуйста, помогите мне с этим.

Answer 1

В свойствах файл просто передать адрес Resorucemanager, который вы настроили в пряжу-site.xml или непосредственно анализировать адрес ResourceManager в workflow.xml файл в

 <job-tracker>localhost:8032</job-tracker> 

Хотя бегущие свойства файла вам необходимо укажите, в каком хосте будет сервер oozie, я думаю, что в этой части вы не столкнулись с какими-либо проблемами. Затем вставьте сообщение об ошибке и обновите вопрос.

EDITED: конфигурации, необходимые, чтобы быть в пряжу-site.xml

<property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
     <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
    <description>NM Webapp address.</description> 
    <name>yarn.nodemanager.webapp.address</name> 
    <value>${yarn.nodemanager.hostname}:8042</value> 
    </property> 
    <property> 
    <description>hostname </description> 
    <name>yarn.nodemanager.hostname</name> 
    <value>localhost</value> 
    </property> 

вы можете либо указать имя хоста или локальным для узла кластера Pesudo. для HA кластера необходимо ниже

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

Answer 2

в производственной среде, вероятно, вы настроили пряжи кластера высокого Availbility. В этом случае конфигуратор отслеживания работы oozie в job.properties должен быть значением конфигурации yarn.resourcemanager.cluster-id.

вырезать из моей конфигурации пряжи:

<property> 
       <name>yarn.resourcemanager.ha.enabled</name> 
       <value>true</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.cluster-id</name> 
       <value>datayarn</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.ha.rm-ids</name> 
       <value>resourcemanager1,resourcemanager2</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.hostname.resourcemanager1</name> 
       <value>11.11.11.11</value> 
     </property> 
     <property> 
       <name>yarn.resourcemanager.hostname.resourcemanager2</name> 
       <value>11.11.11.12</value> 
     </property> 

Таким образом, значение JobTracker должно быть: datayarn