Настройка свойств рабочего процесса oozie для HA JobTracker

Question

С рабочим процессом Oozie вы должны указать JobTracker кластера в свойствах рабочего процесса. Это легко, когда у вас есть один JobTracker:

JobTracker = имя хоста: порт

Когда кластер настроен для HA (высокой доступности) JobTracker, мне нужно, чтобы иметь возможность настроить свои свойства файлов, чтобы иметь возможность чтобы попасть на любой из хостов JobTracker, без необходимости обновлять все мои файлы свойств, когда JobTracker не удалось выполнить второй узел.

При доступе к одному JobTracker через http он перенаправляется на другой, если он не запущен, но oozie не использует http, поэтому нет перенаправления, что приводит к сбою рабочего процесса, если файл свойств указывает который не запущен.

Как настроить файл свойств для работы с JobTracker в HA?

Answer 1

Я только что закончил настройку рабочих процессов Oozie, чтобы использовать HA JobTrackers и NameNodes. Ключ должен использовать логическое имя сконфигурированной службы HA, а не отдельные имена хостов или порты. Например, имя HA JobTracker по умолчанию - «logicaljt». Замените имя хоста: порт на «logicaljt», и все должно работать только до тех пор, пока узел, из которого вы используете Oozie, правильно установил соответствующие конфигурации hdfs-сайта и Mapred-site (неявно из-за того, что он является частью кластера, или явно из-за добавления в него роли шлюза).

Answer 2

Просьба указать службу имен для кластера, в котором включена HA. например:

в свойствах файла

namenode=hdfs://<nameserivce> 
jobTracker=<nameservice>:8032