Регистрация в кластере

Question

Я запускаю приложение на основе кластера (использует Spark, но тот же вопрос относится к Hadoop) и хотел бы выполнить регистрацию уровня приложения (в идеале с помощью slf4j). Тем не менее, я хочу, чтобы журналы были в центральном месте - я не хочу читать отдельные файлы на каждой машине. Файл HDFS будет отличным - или что-нибудь, что я могу отменить и grep в одной команде.

Как я могу это сделать?

Answer 1

Существует несколько способов решения этой проблемы. Для редких/специальных поисковых инструментов, таких как параллельный SSH, можно использовать. Поскольку сумма лога может быть существенной, параллельная grep может быть намного более эффективной.
Для мониторинга - имеет смысл перенаправить журналы (на уровне ошибок) в системы, такие как LogStash, способные хранить и искать большое количество журналов.