вывод sqoop в oozie

Question

У меня есть рабочий процесс Oozie, который должен запускаться каждые X минут. Он считывает значение из таблицы HBase. После этого выполняется действие Sqoop (incremental) на основе значения, считанного с HBase на предыдущем шаге. Чтобы сделать рабочий процесс, мне нужно каким-то образом захватить новое значение -last из действия Sqoop Oozie, которое будет записано обратно в HBase, и в следующий раз, когда рабочий процесс начнет читать его снова ... и так далее.

Как я могу это сделать, или может быть лучший способ?

Jonas

Answer 1

Я думаю, что блог http://www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html может дать вам несколько советов.

В основном, он сохраняет startindex и chunksize в job.properties, а startindex используется там, где условие в задании Sqoop, после чего он меняет startindex через скрипт оболочки после задания sqoop.