Когда задание MapReduce запускает то, что нужно искать?

Question

Я начало работы в Hadoop - и я хотел бы знать,

what all the factors that needs to be looked at when a Map Reduce job(say via Hive or Snapplex) is being triggered to ensure that the cluster is stable and that job does not do any major impact к кластеру

Где бы один искать для всех этих контрольно-пропускных пунктов, и есть ли стандартные пороги для отслеживания против?

В основном проверка работоспособности системы, чтобы обеспечить работу MR мы строим чистый

Цените любые идеи

Answer 1

Hadoop обычно включает NameNode и JobTracker Webinterface, который используется для целей мониторинга.

Пользовательский интерфейс NameNode дает вам обзор доступных узлов и общей емкости кластера, а также мертвых узлов.

Пользовательский интерфейс JobTracker дает обзор рабочих и неудачных заданий и их выходных записей журнала.

Доступ по умолчанию к NameNode осуществляется через http://localhost:50070/. И Jobtracker: http://localhost:8088 (Это может варьироваться в зависимости от используемого дистрибутива)