Hadoop - Oozie: проверьте, работает ли рабочий процесс oozie

Question

У меня есть координатор oozie, который работает в 11:00, 12:30 PM:00:00, 7:00 PM и 9:30 PM. Рабочий процесс для этих рабочих заданий одинаковый, но они работают в разное время без определенной частоты. Если частота такая же, я бы сделал это с одной задачей координатора.

Мой вопрос в том, как мы знаем, что работа координатора все еще работает, и заставить другое задание координатора ждать/спать до тех пор, пока не будет запущен существующий? Можем ли мы сделать это через oozie или вам нужно написать отдельный скрипт oozie API/JavaScript или Shell, чтобы проверить его?

Thanks, Asmath.

Answer 1

Вы можете синхронизировать выполнение рабочих процессов в разных координаторах, используя тег <input-events> координатора.

Например, вы можете создать каталог как

/some/hdfs/dir/coordA-status/SUCCESS-2016-01-26 

в конце каждого успешного выполнения рабочего процесса Заурядный координатором А.

Тогда вы могли бы сделать существование этого каталога является условием для координатор B для запуска через теги <dataset> и <input-events>.