Нет активных узлов в кластере Hadoop

Question

Я установил Hadoop 2.6.0 с 1 ведущим и 2 подчиненными в соответствии с How to install Apache Hadoop 2.6.0 in Ubuntu (Multi node/Cluster setup). В конце концов я проверил jps на master и slaves, все выглядело хорошо: NameNode, SecondaryNameNode, ResourceManager на master; и DataNode, NodeManager на ведомых устройствах. Но когда я просмотрел хауомастера: 8088, было 0 активных узлов. Кроме того, когда я бегу

hadoop fs -put ~/h-localdata/* /input/ 

Он показал эту ошибку:

put: File /input-01/h-localdata/README.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation. 

Пожалуйста, помогите мне решить эту проблему!

Answer 1

Я проверил лог-файлы в рабов, он отметил, что:

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop.master/192.168.10.52:9000 

Я прочитал много предложений, большинство из них связаны с/и т.д./хост файл, но не мой случай. Я отключил брандмауэр на master (centos 6.5) как:

# service iptables save 
# service iptables stop 
# chkconfig iptables off 

Это сработало отлично. Надеюсь, это тоже поможет кому угодно.

Answer 2

попробуйте удалить файлы в папках «темп», «датафон», «наменода» и форматировать наменода, а затем повторите попытку.

Answer 3

Для меня это была запись в/etc/hosts, которая заставила главный узел hadoop прослушивать только loopback-адаптер, поэтому клиенты не смогли его достичь.

Answer 4

Убедитесь, что дататод указывает на правильный мастер. Проверьте hdfs dfsadmin -report, чтобы проверить отчет кластера.

Answer 5

Я решил эту проблему, отключите брандмауэр на моего хозяина и раба (как на CentOS 7) следующим образом:

systemctl stop firewalld.service 
systemctl disable firewalld.service