nodemanager подключен к resourcemanager, но datanode не подключен к namenode

Question

Я устанавливаю hadoop 2.5.1 поверх CentOS 7.0.

(1) Когда я запускаю приложение поверх хаоса, я сомневаюсь, что ниже пути сообщения «/tmp/hadoop-yarn/staging/hadoop/.staging/job_1424775783787_0001/files» вызвано совместимостью. Если это проблема совместимости, то как я могу ее исправить?

15/02/24 20:27:41 ОШИБКА streaming.StreamJob: Ошибка Запуск задания: Файл /tmp/hadoop-yarn/staging/hadoop/.staging/job_1424775783787_0001/files/Formatter.sh только мог реплицироваться на 0 узлов вместо minReplication (= 1). Работает 0 datanode (s), и ни один узел (ы) не исключен в этой операции.

(2) Главный порт: 9000 слушать, однако DataNode не подключен к хозяину, но nodemanager жив. , поэтому я могу проверить активные datanodes от порта 8088 , но это не проверка в порту 50070

Конфигурация, как показано ниже.

хост-файл

XXX.XXX.XXX.65 mccb-com65 #server 
    XXX.XXX.XXX.66 mccb-com66 #client01 
    XXX.XXX.XXX.67 mccb-com67 #client02 
    127.0.1.1  mccb-com65 (mccb-com66, mccb-com67 per computer setting) 
    127.0.0.1  localhost 

ядро-site.xml

<configuration> 
<property> 
    <name>fs.default.name</name> 
    <value>hdfs://XXX.XXX.XXX.65:9000</value> 
</property> 
</configuration> 

HDFS-site.xml

<configuration> 
<property> 
    <name>dfs.name.dir</name> 
    <value>file:///home/hadoop/hdfs/hdfs/namenode</value> 
    <description>the path which save the file system image </description> 
</property> 
<property> 
    <name>dfs.data.dir</name> 
    <value>file:///home/hadoop/hdfs/hdfs/datanode</value> 
    <description>the path which the datanode save the block</description> 
</property> 
<property> 
    <name>dfs.http.address</name> 
    <value>0.0.0.0:50070</value> 
</property> 
<property> 
    <name>dfs.datanode.http.address</name> 
    <value>0.0.0.0:50075</value> 
</property> 
<property> 
    <name>dfs.datanode.ipc.address</name> 
    <value>0.0.0.0:50020</value> 
</property> 
<property> 
    <name>dfs.replication</name> 
    <value>3</value> 
</property> 

mapred-site.xml

<configuration> 
    <property> 
     <name>mapreduce.framework.name</name> 
     <value>yarn</value> 
    </property> 
    <property> 
     <name>mapred.child.java.opts</name> 
     <value>-Xmx400m</value> 
    </property> 
    <property> 
     <name>mapreduce.jobhistory.address</name> 
     <value>0.0.0.0:10020</value> 
    </property> 
    <property> 
     <name>mapreduce.jobhistory.webapp.address</name> 
     <value>0.0.0.0:19888</value> 
    </property> 
    <property> 
     <name>mapred.system.dir</name> 
     <value>/home/hadoop/hdfs/hdfs/mapred/system</value> 
     <final>true</final>  
    </property> 
    <property> 
     <name>mapred.local.dir</name> 
     <value>/home/hadoop/hdfs/hdfs/mapred/local</value> 
     <final>true</final> 
    </property> 
</configuration> 

пряжи site.xml

<configuration> 
    <property> 
     <name>yarn.resourcemanager.resource-tracker.address</name> 
     <value>XXX.XXX.XXX.65:8031</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.scheduler.address</name> 
     <value>XXX.XXX.XXX.65:8030</value> 
    </property> 
    <property> 
     <name>yarn.resourcemanager.address</name> 
     <value>XXX.XXX.XXX.65:8032</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
     <name>yarn.resoucemanager.webapp.address </name> 
     <value>XXX.XXX.XXX.65:8088</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.webapp.address </name> 
     <value>0.0.0.0:8042</value> 
    </property> 
    </configuration> 

[корень @ МССВ-com65 ~] # NetStat -antlp

Активные подключения к Интернету (серверы и установлены) Прото Recv-Q Send-Q Локальный Адрес Внешний адрес Состояние
PID/название программы ТСР 0 0 127.0.0.1:25
0.0.0.0:* СЛУШАТЬ 2868/мастер ТСР 0 0 0.0.0.0:3389 0.0.0.0:* СЛУШАТЬ
1746/xrdp Tcp 0 0 XXX.XXX.XXX.65 : 8030
0.0.0.0:* СЛУШАЕТ 10858/Java ТСР 0 0 XXX.XXX.XXX.65: 8031 ​​0.0.0.0:* СЛУШАЕТ
10858/Java ТСР 0 0 XXX.XXX.XXX.65: 8032
0.0.0.0:* LISTEN 10858/java tcp 0 0 0.0.0.0:8033 0.0.0.0:* LISTEN
10858/java tcp 0 0 0.0.0.0:50885
0.0.0.0:* LISTEN 2282/rpc.statd tcp 0 0 XXX.XXX.XXX.65: 9000 0.0.0.0:* LISTEN
10470/java tcp 0 0 0.0.0.0:50090
0.0.0.0:* LISTEN 10684/java tcp 0 0 0.0.0.0:111 0.0 .0.0: * LISTEN
1753/rpcbind tcp 0 0 0.0.0.0:50070
0.0.0.0:* LISTEN 10470/java tcp 0 0 127.0.0.1:3350 0.0.0.0:* LISTEN
1745/xrdp-sesman tcp 0 0 0.0.0.0:22
0.0.0.0:* СЛУШАЕТ 1761/SSHD ТСР 0 0 127.0.0.1:631 0.0.0.0:* СЛУШАЕТ
3278/cupsd ТСР 0 0 127.0.0.1:5911
0.0.0.0:* СЛУШАЕТ 3053/Xvnc ТСР 0 0 0.0.0.0:8088 0.0.0.0:* СЛУШАЕТ
10858/Java ТСР 0 0 XXX.XXX.XXX.65: 8031 ​​
XXX.XXX.XXX.67: 44914 УЧРЕЖДЕННАЯ 10858/Java TCP 0 0 XXX.XXX.XXX.65: 42505 XXX.XXX.XXX.65: 9000 TIME_WAIT - ТСР 0 0 127.0.0.1:5911 127.0.0.1:50271
ESTABLISHED 3053/Xvnc ТСР 0 0 XXX.XXX.XXX .65: 3389 XXX.XXX.XXX.96: 52951 ESTABLISHED 1746/xrdp tcp 0 0 127.0.0.1:50271
127.0.0.1:5911 ESTABLISHED 1746/xrdp tcp 0 0 XXX.XXX.XXX.65: 8031 ​​XXX.XXX.XXX.66: 46816 ESTABLISHED 10858/java tcp6 0 0 ::: 44331 ::: * LISTEN 2282 /rpc.statd tcp6 0 0 ::: 111
::: * LISTEN 1753/RPCbind tcp6 0 0 ::: 22 ::: * СЛУШАТЬ
1761/SSHD

Answer 1

следующие шаги должны исправить проблема. Однако вы можете потерять данные.

• Stop Hadoop:

  • SBIN/stop-dfs.sh
  • SBIN/stop.yarn.sh

• Удалить NameNode & DataNode:

  • HDFS ДФС -rm -r/HDFS/NameNode
  • HDFS ДФС -rm -r/HDFS/datanodenode

• Формат NameNode

  • HDFS NameNode -format

• Start NameNode, Datanodes & YARN

  • SBIN/start-dfs.sh
  • SBIN/start-yarn.sh