Oozie: Launch Map-Reduce from Oozie <java> action?

Question

Я пытаюсь выполнить задачу «Уменьшить карту» в рабочем процессе Oozie, используя действие <java>.

O'Reilley в Apache Oozie (Ислам и Srinivasan 2015) отмечает, что:

Хотя это не рекомендуется, действие Java может быть использован для выполнения заданий Hadoop MapReduce, потому что рабочие места MapReduce ничего, кроме программ Java после все. Вызываемый основной класс может быть драйвером Hadoop MapReduce и может вызывать API Hadoop для запуска задания MapReduce. В этом режиме Hadoop генерирует больше карт и редукторов по мере необходимости и запускает их в кластере.

Однако у меня нет успеха в использовании этого подхода.

Определение действия в рабочий процесс выглядит следующим образом:

<java> 
    <!-- Namenode etc. in global configuration --> 
    <prepare> 
     <delete path="${transformOut}" /> 
    </prepare> 
    <configuration> 
     <property> 
      <name>mapreduce.job.queuename</name> 
      <value>default</value> 
     </property> 
    </configuration> 
    <main-class>package.containing.TransformTool</main-class> 
    <arg>${transformIn}</arg> 
    <arg>${transformOut}</arg> 
    <file>${avroJar}</file> 
    <file>${avroMapReduceJar}</file> 
</java> 

main() Реализация реализация Tool выглядит следующим образом:

public static void main(String[] args) throws Exception { 
    int res = ToolRunner.run(new TransformTool(), args); 
    if (res != 0) { 
     throw new Exception("Error running MapReduce."); 
    } 
} 

Рабочий процесс будет врезаться с «Ошибка при выполнении MapReduce» Исключение выше каждый раз; Как я могу получить результат MapReduce для диагностики проблемы? Есть ли проблема с использованием этого Tool для запуска приложения MapReduce? Я использую неправильные вызовы API?

Я крайне не склонен использовать действие Oozie <map-reduce>, так как каждое действие в рабочем процессе зависит от нескольких отдельно реализованных схем AVRO.

В чем проблема? Я использую «новый» mapreduce API для задачи.

Спасибо за любую помощь.

Answer 1

> как получить выход MapReduce ...

Назад к основам.

Поскольку вы не хотите упоминать, какую версию Hadoop и какую версию Oozie вы используете, я буду считать «недавнюю» настройку (например, Hadoop 2.7 w/TimelineServer и Oozie 4.2). И поскольку вы не указываете, какой интерфейс вы используете (командная строка «native Oozie/Yarn UI? Hue?»), Я приведу несколько примеров, используя good'old'CLI.

> oozie jobs -localtime -len 10 -filter name=CrazyExperiment

Показывает последние 10 расстрелы процесса «CrazyExperiment», так что вы можете придать соответствующий «идентификатор задания» в следующих командах.

> oozie job -info 0000005-151217173344062-oozie-oozi-W

Показывает статус этого исполнения, с Oozie точки зрения. Если ваше действие Java застряло в режиме PREP, Oozie не смог отправить его в YARN; иначе вы найдете что-то вроде job_1449681681381_5858 в разделе «Внешний идентификатор». Но будьте осторожны! Префикс job - это устаревшая вещь; фактический идентификатор YARN: application_1449681681381_5858.

> oozie job -log 0000005-151217173344062-oozie-oozi-W

Показывает журнал Oozie, как можно было ожидать.

> yarn logs -applicationId application_1449681681381_5858

Показывает сводные журналы для AppMaster (контейнер # 1) и действий Java Launcher (контейнер # 2) - после выполнения закончится. stdout log for Launcher содержит всю информацию об отладке Oozie, настоящая stdout находится на самом дне.

В случае, если ваше действие Java успешно породило другое задание YARN, и вы были осторожны, чтобы отобразить дочерний «идентификатор приложения», вы должны получить его там и запустить еще одну команду yarn logs.

Наслаждайтесь следующими 5-ю днями отладки ;-)