Как координатор Oozie реагирует на изменение рабочего процесса?

У меня есть вопрос об Apache Oozie и более конкретно о дистрибутиве CDH.Как координатор Oozie реагирует на изменение рабочего процесса?

Что происходит с координатором, когда рабочий процесс, который он использует, был изменен? Например, рабочий процесс теперь использует дополнительный параметр, который автоматически заполняется переменной. Это теоретически не потребовало бы каких-либо изменений в координаторе. Работающие координаторы по-прежнему используют конфигурацию начального рабочего процесса или динамически адаптируются к новой. Если они все еще используют старую конфигурацию, тогда мне нужно определить нового координатора или достаточно повторить тот же самый координатор?

источник

2017-01-06 spijs

Я считаю, что workflow.xml изменился для вас. Является ли новый параметр конфигурации уже присутствующим в конфигурации, представленной координировать? – YoungHobbit

Я не совсем уверен, что вы спрашиваете здесь. Для координатора изменений не требуется, но workflow.xml для рабочего процесса действительно изменился. Я спрашиваю, как координатор связан с рабочим процессом. Является ли работающий координатор связан с предыдущим файлом, который я бы нашел логичным? Второй вопрос - это координатор, который не работает со старым файлом или новым? Значение: мне нужно создать нового координатора, обновить моего координатора или я могу только повторно отправить его? @YoungHobbit – spijs

Если только workflow.xml изменился, замените файл workflow.xml в HDFS (путь приложения, который вы предоставили в координатор). Для следующего выполнения он выберет новый рабочий процесс. Просто убедитесь, что новый/измененный параметр уже присутствует в представленном координаторе. Благодарю. – YoungHobbit

Как это работает: каждый представленный координатор имеет фиксированный набор переменных и параметров (файл конфигурации). Параметр -change позволяет вам изменить следующие атрибуты координатора:

endtime: время окончания работы координатора.
параллелизм: параллелизм задания координатора.
pausetime: время паузы работы координатора.

Все, за исключением координатора, имя, частота, время начала, время окончания и часовой пояс могут быть изменены с помощью опции -update. Более подробную информацию см официальную документацию:

http://oozie.apache.org/docs/4.3.0/DG_CommandLineTool.html#Updating_coordinator_definition_and_properties

В конфигурационном файле вы обычно указывающий на файл координатора в HDFS, который затем указывает на файл рабочего процесса в HDFS. Если вы измените любой из них в hdfs, при следующем запуске координатора будут использованы новые/измененные файлы. То же самое справедливо для всех файлов, которые используются в действиях рабочего процесса, например. shell-скрипты, Jar-файлы, ...

источник

2017-01-18 14:06:14 garkyn

Полные свойства конфигурации могут быть обновлены для координатора с использованием опции '-update'. – YoungHobbit

Вы правы, я отредактировал свой ответ, чтобы включить эту функцию. Большое спасибо за указание на это – garkyn

@garkyn Я только что изменил рабочий процесс на Hue, который теперь использует дополнительный файл, требуемый каким-то другим кодом. Хотя рабочий процесс сам по себе работает, координатор, использующий этот рабочий процесс, не потому, что он по-прежнему использует старый рабочий процесс. Если я правильно интерпретирую ваш ответ, рабочий процесс будет использовать обновленный xml рабочий процесс после его запуска. Означает ли это, что Hue создает новый XML-файл процесса при каждом изменении? Или другая возможность: координатор делает копию из файла рабочего процесса во время создания? – spijs

Как координатор Oozie реагирует на изменение рабочего процесса?

ответ

Смежные вопросы