Namenode и Jobtracker информацию о кластере Hadoop

Question

Как я могу получить следующую информацию о кластере Hadoop? 1. NameNode и JobTracker имя 2. список всех узлов с их ролью в кластере

Answer 1

Я использую кластер на основе cloudera и также работаю над EMR. В обоих кластерах я могу найти информацию из конфигурационного каталога. Чтобы получить информацию о назначении, зайдите в файл core-site.xml и найдите fs.defaultFS как @ daemon12

Вот прямой способ его получить. Для получения информации NameNode использовать следующую команду cat /etc/hadoop/conf/core-site.xml | grep '8020'

Вот результат

<value>hdfs://10.872.22.1:8020</value> Значение внутри значения тега информации имени узла.

Аналогично, чтобы получить информацию о JobTracker сделать ниже

cat /etc/hadoop/conf/yarn-site.xml | grep '8032'

Вот результат

<value>10.872.12.32:8032</value>

Опять значение JobTracker внутри значения тега.

Как правило, информация NN и JT используется для запуска заданий Oozie, и этот метод поможет вам с этой целью.

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Я приветствую результат cat на основе номера портаменного номера и номера рабочего стола, который равен 8020 и 8032 соответственно. Это широко известные порты для NN и JT в Hadoop. Если ваша организация использует другую, используйте ее, чтобы получить более подходящий результат.

Answer 2

При правильном предоставившей авторизации (например, Судо -u HDFS), вы можете попробовать:

HDFS dfsadmin -report

Answer 3

Наряду с командной строкой способом получения информации, вы можете получить подобную информацию в браузере также:

http://<namenode>:50070 (For in general hadoop informtion) 
http://<namenode>:50030 (For JobTracker related information) 

это по умолчанию порты. Вы можете проверить here для получения дополнительной информации.