Монитор Hadoop Cluster с использованием Collectl

Question

Я оцениваю различные средства мониторинга системы, чтобы использовать их для мониторинга моего кластера сложения. Одним из инструментов, на которые я произвел впечатление, является collectl. Я играю с ним с двух дней.

Я пытаюсь найти, как мы можем агрегировать метрики, захваченные коллекцией при использовании colmux?

Скажите, что у меня есть 10 узлов в моем кластере хаопов, каждый из которых запускает сбор в качестве службы. Используя colmux, я могу видеть показатели производительности каждого узла в одном представлении (в одно- и многострочных форматах). Большой!

Но что, если я рассматриваю агрегат CPU, IO и т. Д. На всех узлах кластера. То есть я хочу найти , как мой кластер в целом выполняет агрегирование показателей производительности с каждого узла в соответствующие номера , тем самым давая мне метрику уровня кластера, а не на уровне узла.

Любая помощь очень ценится. Благодаря!

Answer 1

я уже ответил на этот вопрос в список рассылки, но в интересах тех, кто не на нем я повторюсь здесь ..

Это классная идея. Итак, если я правильно вас понял, вы можете увидеть какую-то общую линию внизу? Я всегда могу добавить в свой список пожеланий, но никаких обещаний. Но я думаю, что у меня также может быть решение, если вы не возражаете сделать небольшую дополнительную работу самостоятельно;) btw - могу ли я предположить, что вы установили ключ для чтения, чтобы изменить столбцы сортировки с помощью клавиш со стрелками?

Если вы запустите colmux с помощью --noesc, он выведет его из полноэкранного режима и распечатает все как прокрутку. Если вы также включите «--lines 99999» (или некоторое большое число), он распечатает весь вывод из всех удаленных систем, чтобы вы ничего не пропустили. Наконец, вы можете транслировать выходные данные через perl, python, bash или что-то вроде вашего любимого скриптового инструмента и делать сами итоги. Затем всякий раз, когда вы видите новый заголовок, вы можете распечатать итоговые значения и сбросить счетчики на 0. Вы даже можете добавить отметки времени и, возможно, даже в конечном итоге сделать свой собственный проект с открытым исходным кодом. Бьюсь об заклад, другие тоже сочтут это полезным.

-mark