Что такое простые команды, чтобы проверить, запущены ли демоны Hadoop?Как проверить, запущены ли демоны Hadoop?
Например, если я пытаюсь понять, почему HDFS настроен неправильно, я хочу знать, как проверить, работает ли на этом компьютере namemonode/datanode/jobtracker/tasktracker.
Есть ли способ проверить это быстро, не глядя в журналы или используя ps (на Linux)?
я не нашел большое решение, поэтому я использовал
ps -ef | grep hadoop | grep -P 'namenode|datanode|tasktracker|jobtracker'
просто чтобы увидеть, если материал работает
и
./hadoop dfsadmin -report
но последний не был полезным, пока сервер не был Бег.
В оболочке типа «jps» (вам может понадобиться jdk для запуска jps). В нем перечислены все запущенные java-процессы и будут перечислены демоны hadoop, которые запущены.
кроме jps, еще одна хорошая идея - использовать веб-интерфейсы для NameNode и JobTracker, предоставляемые Hadoop. Он не только показывает вам процессы, но и предоставляет вам много другой полезной информации, такой как сводка кластера, текущие задания и т. Д. Atc. чтобы перейти к пользовательскому интерфейсу NN, укажите свой веб-браузер на «YOUR_NAMENODE_HOST: 9000» и для пользовательского интерфейса JT «YOUR_JOBTRACKER_HOST: 9001».
спасибо, я знаю об этом один - это просто у меня было немного трудно понять, почему веб-интерфейс не запускается и почему узел не был подключен - так что пользовательский интерфейс не был действительно полезным – Bohdan
Работает ли он сейчас? – Tariq
уверен, что это был внутренний материал, а не в hadoop – Bohdan
Если вы видите, что процесс hasoop не работает на ps -ef|grep hadoop, запустите sbin/start-dfs.sh. Монитор с hdfs dfsadmin -report:
[[email protected] bin]$ hadoop dfsadmin -report
Configured Capacity: 105689374720 (98.43 GB)
Present Capacity: 96537456640 (89.91 GB)
DFS Remaining: 96448180224 (89.82 GB)
DFS Used: 89276416 (85.14 MB)
DFS Used%: 0.09%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)
Name: 192.168.1.16:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4986138624 (4.64 GB)
DFS Remaining: 47813910528(44.53 GB)
DFS Used%: 0.08%
DFS Remaining%: 90.48%
Last contact: Tue Aug 20 13:23:32 EDT 2013
Name: 192.168.1.17:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4165779456 (3.88 GB)
DFS Remaining: 48634269696(45.29 GB)
DFS Used%: 0.08%
DFS Remaining%: 92.03%
Last contact: Tue Aug 20 13:23:34 EDT 2013
Попробуйте jps команду. Он указывает процессы java, которые работают и работают.
Возможно, вы захотите прояснить этот ответ. – summea
вы можете использовать команду JPS, как Vipin сказал, как эта команда:
/usr/lib/java/jdk1.8.0_25/bin/jps
, конечно, вы будете изменить путь Java с одной у вас есть «путь, который вы установили Java в»
Jps является отличным инструментом для проверки того, работают ли ожидаемые процессы Hadoop (часть Java Sun с версии v1.5.0).
результат будет что-то вроде этого:
2287 TaskTracker
2149 JobTracker
1938 DataNode
2085 SecondaryNameNode
2349 Jps
1788 NameNode
Я получаю ответ от этого урока: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
Попробуйте запустить это:
for service in /etc/init.d/hadoop-hdfs-*; do $service status; done;
это может работать, но не тогда, когда он запускается из оболочки. Также это относится только к HDFS. – Bohdan
Для проверки Hadoop Узлы работает или нет :
sudo -u hdfs hdfs dfsadmin -report
Настроенные Емкость: 28799380685 (26,82 Гб)
Present Емкость: 25104842752 (23,38 Гб)
ДФС Оставшийся: 25012056064 (23,29 GB)
ДФС Б: 92786688 (88,49 MB)
DFS Используется%: 0.37%
Под тиражируемых блоков: 436
блоки с коррумпированными репликами: 0
Отсутствующие блоки: 0
DataNodes в наличии: 1 (1 всего, 0 погибших)
Живые DataNodes:
Имя: 127.0.0.1:50010 (localhost.localdomain)
Имя хоста: localhost.localdomain
Стойка:/по умолчанию
Состояние декомпрессии: нормальное
Настроенные Емкость: 28799380685 (26,82 GB)
DFS Используется: 92786688 (88,49 MB)
Non DFS Используется: 3694537933 (3,44 GB)
ДФС Оставшийся: 25012056064 (23,29 GB)
DFS Используется%: 0,32%
ДФС Оставаясь%: 86,85%
Последний контакт: Чт мар 01 22:01:38 IST 2018
Каков будет ожидаемый результат для вышеуказанных команд? Я попробовал первую команду, которую ничего не показывали? – NIMISHAN