Сценарии для Nagios для мониторинга кластера сложения

Question

Я пытаюсь контролировать кластер Hadoop с Nagios. Моя цель - следить за состоянием и использованием ресурсов всех демонов Hadoop, таких как DataNode, Jobtracker и Tasktracker и т. Д. Что я могу думать о решении, это следить за портами, которые используют эти демоны. Но это кажется очень ограниченным. Например, я не вижу, сколько задач выполняется в узле и т. Д.

Итак, мой вопрос: существует ли систематическое решение для мониторинга Hadoop с помощью Nagios?

Спасибо,

Shumin

Answer 1

Я нашел this. Это плагин nagios для мониторинга hdf. Here - все плагины, связанные с suoop, при обмене nagios.

Answer 2

Есть определенные способы мониторинга кластера Hadoop с помощью SNMP. Вы должны установить пакет snmp на свой Linux-сервер. Кроме того, SNMP должен быть включен в кластере, я думаю, есть возможность включить его в какой-то веб-консоли управления.

Когда это разрешено, вы должны быть в состоянии snmpwalk кластера:

snmpwalk -v 2c -c public <ip address cluster> 

.. чем вы можете написать PERL или Баш скрипт для проверки определенного OID, который вы предпочитаете контролировать. Вы можете поместить этот скрипт в свою папку «libexec» и определить новую команду в командах command.cfg для этого скрипта, например check_cluster_snmp или что-то, что вам нравится.

Вы также можете проверить кластер с помощью JMX, но я еще не знаю много о JMX.

Answer 3

Ваш лучший выбор с JMX, поскольку он позволяет просматривать процессы Java, чтобы проверить, что происходит, а также предоставить показатели (например, узлы с черным списком, состояние пробелов в hdfs и т. Д.).

Вы можете извлекать данные из каждого узла с помощью URL http://node.domain:port/jmx?qry=*adoop

Вы посмотрите на эти вопросы, которые связаны можете:

https://stackoverflow.com/questions/16893407/are-there-advanced-http-query-parameters-for-jmx-proxy-tomcat-servlet

Is there any JMX - REST bridge available?