Упорядочить порядок работы координатора на Oozie

Question

У меня есть координатор по oozie, который выполняет ряд задач, каждый из которых зависит от результата последнего. Каждая задача выводит датированную папку и ищет выхода своего предшественника с использованием

${coord:latest(0)} 

Это все работало нормально на моем Dev кластера, когда ничего не было работы; каждые 5 минут oozie будет стоять в очереди на другую работу, и за эти 5 минут предыдущая работа выполнялась так, что когда новое задание было настроено, она увидела нужную ему директорию.

Я столкнулся с проблемами в производственном кластере; задания отправляются, но помещаются в очередь и не запускаются некоторое время, но все равно каждые 5 минут oozie ставит очередную очередность, и на этапе инициализации ей назначается ее «предыдущая» папка, которая не была созданный еще, поскольку его предшественник не работал, поэтому «последняя» функция дает ему тот же вклад, что и предыдущая работа. Затем я получаю 10 заданий, все берут один и тот же вход ...

Что мне нужно - это способ строго запретить следующую работу в последовательности координаторов даже от создания, пока ее предшественник не закончит работу. Есть ли способ, которым это можно сделать?

Спасибо за чтение

Answer 1

Это точное использование случай, Oozie предназначен для решения. Oozie будет ждать всех зависимостей данных перед запуском.

Пожалуйста, попытайтесь понять следующие конфиги в вашем coordinator.xml

<datasets> 
     <dataset name="my_data" frequency="${coord:days(1)}" initial-instance="2013-01-27T00:00Z"> 
      <uri-template>YOUR_DATA/${YEAR}${MONTH}${DAY}</uri-template> 
     </dataset> 
    ... 
    <datasets> 

    <input-events> 
     <data-in name="my_data" dataset="my_data"> 
      <instance>${coord:current(-1)}</instance> 
     </data-in> 
    </input-events> 

    <output-events> 
     <data-out name="my_data" dataset="my_data"> 
      <instance>${coord:current(0)}</instance> 
     </data-out> 
    </output-events> 

«коорд: ток (-1)» во входных-событий означает, что предыдущий вывод. Он будет интерпретировать таблицу URI команды набора данных до «вчера», а Oozie проверит, существуют ли данные в HDFS, проверив флаг успеха, который по умолчанию является пустым файлом с именем «_SUCCESS», прямо под выходным каталогом. Oozie будет продолжать ждать этого флага перед запуском текущего рабочего процесса.

Кстати, вы также можете установить

<coordinator-app name="my_coordinator" frequency="${coord:days(1)}" start="${start_time}" end="${end_time}" ...> 

определить время начала и время окончания работы координатора, так что вы можете нагнать данные отставания.