Как собрать учетные записи Hadoop?

Question

Я выполняю задания M/R и регистрирует ошибки, когда они возникают, вместо того, чтобы сделать работу неудачной. Есть только несколько ошибок, но задание выполняется на кластере hadoop с сотнями узлов. Как выполнять поиск в журналах задач без необходимости вручную открывать каждый журнал задач в Интернете ui (jobtaskhistory)? Другими словами, как автоматически искать в журналах задач M/R, которые распространяются по всему кластеру, хранятся в каждом узле локально?

Answer 1

Side Примечание: Первый 2.0.0 Oldy плесень (это «бета» версия 2.0), вам следует рассмотреть возможность обновления до более нового стека (например, 2.4, 2.5 2.6).

Начиная с версии 2.0, Hadoop реализовал так называемую «агрегацию журналов» (хотя это не то, что вы могли бы подумать. Журналы просто хранятся на HDFS). Существует множество инструментов командной строки, которые вы можете использовать для получения журналов и анализа их без необходимости проходить через интерфейс. Это, на самом деле, намного быстрее, чем пользовательский интерфейс.

Отъезд this blog post для получения дополнительной информации.

К сожалению, даже с помощью инструмента командной строки вам не удается получить все журналы задач одновременно и передать его на что-то вроде grep. Вам нужно будет получить каждый журнал задач как отдельную команду. Однако это, по крайней мере, сценарий.

Сообщество Hadoop работает над более надежным инструментом анализа журналов, который не только сохранит журналы работы на HDFS, но также даст вам возможность выполнять поиск и другие анализы в этих журналах. Однако это инструмент по-прежнему является выходным.

Answer 2

Вот как мы это сделали (крупная интернет-компания): мы убедились, что были зарегистрированы только критические сообщения: но для этих сообщений мы фактически использовали System.err.println. Пожалуйста, сохраняйте сводные сообщения на трекер/редуктор до нескольких килобайт.

Большинство сообщений должны по-прежнему использовать стандартный механизм log4j (который идет в области системных журналов)