Координатор Oozie с асинхронным набором данных

Question

Мы хотим запланировать рабочий процесс на основе доступности данных, но нет особой частоты прихода данных. Также может быть несколько повторных запусков данных и, следовательно, несколько версий данных за день, прибывающий в любое время.

Как я понимаю из спецификации, в настоящее время обязательно указывать параметр частоты в координаторе.

Однако мы хотели бы инициировать наш рабочий процесс на основе какого-либо события (прихода данных или создания разделов) только в зависимости от частоты.

Похоже, что это соответствует асинхронному набору данных. Поддерживает ли Oozie набор асинхронных данных?

Answer 1

Параметр частоты является обязательным, но Вы можете указать событие ввода, что-то вроде этого:

<datasets> 
    <dataset name="mydata" frequency="${coord:days(1)}" initial-instance="${initial_instance}" timezone="UTC"> 
     <uri-template>${hcat_uri}/${hcatDatabase}/${hcatTable}/dt=${YEAR}${MONTH}${DAY}</uri-template> 
    </dataset> 
</datasets> 
<input-events> 
    <data-in name="MYDATA_IN" dataset="mydata"> 
     <instance>${coord:current(0)}</instance> 
    </data-in> 
</input-events> 

https://oozie.apache.org/docs/3.1.3-incubating/CoordinatorFunctionalSpec.html#a6.1.4._Input_Events

Таким образом, определить относительно низкую частоту и содержательный блок, и он будет ждать доступность данных. Возможно, это имеет смысл указать тайм-аут для координатора, что меньше, чем частота:

<timeout>[TIME_PERIOD]</timeout> 

Или вы можете координат (начало) рабочий процесс непосредственно (без координатора) с, например: в cronjob, но это не приятно в все.