Как запланировать действие sqoop с помощью oozie

Question

Я новичок в Oozie, просто интересно - Как мне запланировать работу sqoop с помощью Oozie. Я знаю, что действие sqoop может быть добавлено как часть рабочего процесса Oozie. Но как я могу запланировать действие sqoop и запускать его как каждые 2 минуты или 8 вечера каждый день автоматически (просто лежите работу cron)?

Answer 1

Вам необходимо создать файл coordinator.xml с началом, концом и частотой. Вот пример

<coordinator-app name="example-coord" xmlns="uri:oozie:coordinator:0.2" 

      frequency="${coord:days(7)}" 
      start="${start}" 
      end= "${end}" 

      timezone="America/New_York"> 

    <controls> 
    <timeout>5</timeout> 
    </controls> 

    <action> 
    <workflow> 
     <app-path>${wf_application_path}</app-path> 
    </workflow> 
    </action> 
</coordinator-app> 

Затем создайте coordinator.properties файл, как это:

host=namenode01 
nameNode=hdfs://${host}:8020 

wf_application_path=${nameNode}/oozie/deployments/example 
oozie.coord.application.path=${wf_application_path} 

start=2013-07-13T07:00Z 
end=2013-09-31T23:59Z 

Загрузить файл coordinator.xml в HDFS, а затем представить свой координатор работы с чем-то вроде

oozie job -config coordinator.properties -run 

Проверьте документацию http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html, в которой приведены некоторые примеры.

Answer 2

Я думаю, что следующий блог будет весьма полезным ..

http://www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html