Мониторинг журналов ошибок Apache и журналов динамического приложения/драйвера

Question

Мы запускаем искрообразующее приложение на автономной настройке (версия 1.6).

Запись в искровом разряде кажется немного разбросанной, и я пытаюсь настроить монитор файла журнала nagios, который проверяет определенные «ошибки» в файлах журналов и отправляет предупреждения.

Мое текущее понимание в отношении бревен для искры является следующим:

1. искрового работник имеет собственные журналы и в моем случае это написано в статическом местоположении/вар/Журнал/искру/искровой worker.out
2. Искра-Master имеет собственные журналы и в моем случае это написано в статическом месте /var/log/spark/spark-master.out
3. можно настроить файл log4j.properties под/и т.д./spark/conf/to изменить формат, дополнения и т. д. для искрового и искрового мастеров журналы

Теперь для водителя и Спарк/Палач App журналов кажется расположение для этих журналов является динамическим и искры генерируются новые каталоги в/варе/работе/искра/работе в моем случае.

Мой вопрос:

Мониторинг статических файлов журнала расположение прямо вперед для искрового работника и искровым мастера. Я немного смущен тем, как можно отслеживать динамические журналы для приложений и драйверов.

Из того, что я прочитал в документации, кажется, что по искре-submit я могу передать опцию -D с местоположением в файл log4j.properties.

Можно ли настроить поток журналов на локальный syslog в статическом местоположении, а затем nagios контролировать этот статический журнал?

Что сделали другие в этом случае?

Answer 1

Это пряжа или искра автономная. Если вы используете пряжу, вы можете получить все сводные журналы, используя команду

yarn logs -applicationId <application ID> <options>