Hadoop Задание на уровне заданного уровня с помощью log4j

Question

Я пытался настроить ведение журнала Hadoop на уровне задачи, но пока не добился успеха.

Я изменил log4j.properties и настройки параметров до уровня DEBUG:

• log4j.logger.org.apache.hadoop.mapred.Task = DEBUG
• log4j.logger.org.apache. hadoop.mapred.MapTask = ОТЛАДКА
• log4j.logger.org.apache.hadoop.mapred.ReduceTask = ОТЛАДКА
• log4j.logger.org.apache.hadoop = ОТЛАДКА

Но я не вижу сообщений LOG.info или LOG.debug из записываемых задач. Это с включенной пряжей.

Я не уверен, что я пропустил в конфигурациях, чтобы он работал правильно. Думаю, я должен в конечном итоге получить эти сообщения в файле журнала nodemanage.out?

Answer 1

Вы должны иметь возможность просматривать сообщения журнала приложений из консоли Yarn, но путь к нему имеет несколько шагов.

1.) перейти на пряжу консоли, как правило, http://yourserver:8088 2.) Перейти к меню Инструменты> Локальные журналы 3.) Найдите ссылку «userlogs» и выберите его 4.) Найти приложение, например имя задания MapReduce с префиксом «приложение» вместо префикса «job» и выберите его. 5.) Затем под журналами контейнера, как правило, «syslog», вы должны найти свой журнал уровня работы.

Полный примерный путь ниже. http://yourserver:8088/logs/userlogs/application_1427820474064_0003/container_1427820474064_0003_01_000019/syslog