Oozie for mutliple mapreduce jobs

Question

У меня есть последовательность заданий mapreduce, которые нужно запустить. Мне было интересно, есть ли какие-то преимущества использования Oozie для этого, вместо того, чтобы иметь «один большой драйвер», который будет запускать эту последовательность?

Я знаю, что Oozie может использоваться для запуска нескольких действий различного типа, например. свинг-скрипт, сценарий оболочки, работа с mr, но я заинтересован в том, чтобы разделить две мои работы и запустить их с помощью Oozie или иметь одну банку для этого?

Answer 1

Oozie - планировщик - сырой, плохо документированный, но планировщик.

• Если вам не нужно планировать по себе, или если CRON на краевом узле достаточно
• , если вы хотите обрабатывать логику рабочего процесса самостоятельно (например, условно ветвления, параллельные расстрелы ж/ожидая отставших, называя общие рабочие процессы суб-ж/специальных параметров, оповещения по электронной почте об ошибках, < вставить функцию домашних животных здесь >) или не нужен никакой фантазии логики
• если вы справляетесь журналы Казни и историю государства самостоятельно, или не заботятся о его tory

... ну, не используйте планировщик.

PS: Вы также Луиджи (Spotify) и Азкабан (LinkedIn) как альтернативные планировщики Hadoop.

дополнительный пункт для рассмотрения: если ваш «водитель» сбой по какой-либо причине, у вас может не быть возможности отправить предупреждение; но при запуске из Oozie авария будет обнаружена в конце концов (может потребоваться до 30 минут в угловом случае, например, саморазрушение задания AM из-за перехода на резервный ресурс YARN RM)