Планирование заданий в качестве файла триггера в Oozie

Question

Используя oozie, мы можем отправлять задания в hadoop, это возможно, чтобы сделать подачу заявки вызванной доступностью файла. Например, после успешного завершения работы файла с hdfs, Oozie должен отправить задания. Это возможно ?

Answer 1

Использовать тег 'done-flag' в наборе данных. например

<datasets> 
    <dataset name="dataset1" frequency="${coord:hours(1)}" 
      initial-instance="${startTime}" timezone="UTC"> 
     <uri-template> 
     ${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/ 
     </uri-template> 
     <done-flag>_SUCCESS</done-flag> 
    </dataset> 

</datasets> 

Если установленный флаг установлен на пустой, то Координатор ищет существование самой директории. Если в вашем каталоге существует _SUCCESS (или любое имя файла, указанное в теге), то координатор продолжит работу дальше.

для получения дополнительной информации см. - https://oozie.apache.org/docs/3.1.3-incubating/CoordinatorFunctionalSpec.html