1. дома
  2. Вопрос и ответ
  3. Datanode и Namenode запускается, но не отражается в UI

Datanode и Namenode запускается, но не отражается в UI

2016-04-28 5 views
0

У меня есть небольшая неудача в настройке моего Мастера и ведомого в Hadoop, и у меня есть и мой namenode, и datanode в Master и Slave.Datanode и Namenode запускается, но не отражается в UI

Однако подсчеты LiveNodes в WebUI не отражаются, но узлы работают.

Я уже пробовал отключить брандмауэр и отформатировать узлы, но я не могу разрешить их.

Любая помощь была бы высоко оценена !!!

Вот отрывки:

Master:

команда JPS выход:

5088 Jps

4446 NameNode

4681 SecondaryNameNode

Подчиненный:

Вывод команды

JPS:

2478 Jps

2410 DataNode

[email protected]:/usr/local/hadoop/etc/hadoop$ $HADOOP_HOME/bin/hdfs dfsadmin -refreshNodes 
16/04/28 02:22:37 WARN ipc.Client: Address change detected. Old: hadoop-master/52.200.230.29:50077 New: hadoop-master/127.0.0.1:50077 
refreshNodes: Call From hadoop-master/127.0.0.1 to hadoop-master:50077 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

Log файл Hadoop-рабыни-1:

2016-04-28 21:23:07,248 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:12,257 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:17,265 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:22,273 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:27,282 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000 
2016-04-28 21:23:32,291 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/52.200.230.29:9000

файл журнала Hadoop-мастер:

2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 127.0.0.1 
2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Rolling edit logs 
2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Ending log segment 407 
2016-04-28 21:21:04,002 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 0 Number of transactions batched in Syncs: 0 Number of syncs: 2 SyncTimes(ms): 22 
2016-04-28 21:21:04,003 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 0 Number of transactions batched in Syncs: 0 Number of syncs: 3 SyncTimes(ms): 23 
2016-04-28 21:21:04,003 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /usr/local/hadoop/hadoop_data/hdfs/namenode/current/edits_inprogress_0000000000000000407 -> /usr/local/hadoop/hadoop_data/hdfs/namenode/current/edits_0000000000000000407-0000000000000000408 
2016-04-28 21:21:04,004 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at 409

NetStat -pant команды на моем хозяине:

[email protected]:/usr/local/hadoop/etc/hadoop$ netstat -pant 
(Not all processes could be identified, non-owned process info 
will not be shown, you would have to be root to see it all.) 
Active Internet connections (servers and established) 
Proto Recv-Q Send-Q Local Address   Foreign Address   State  PID/Program name 
tcp  0  0 0.0.0.0:50070   0.0.0.0:*    LISTEN  21491/java 
tcp  0  0 0.0.0.0:22    0.0.0.0:*    LISTEN  - 
tcp  0  0 0.0.0.0:50077   0.0.0.0:*    LISTEN  - 
tcp  0  0 127.0.0.1:50078   0.0.0.0:*    LISTEN  21491/java 
tcp  0  0 0.0.0.0:9000   0.0.0.0:*    LISTEN  - 
tcp  0  0 0.0.0.0:50090   0.0.0.0:*    LISTEN  21726/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57225  ESTABLISHED 21491/java 
tcp  0  0 127.0.0.1:41471   127.0.0.1:50078   TIME_WAIT - 
tcp  0 124 172.31.63.189:22  128.235.8.68:56950  ESTABLISHED - 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57224  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57223  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:22  128.235.8.68:57084  ESTABLISHED - 
tcp  0  0 172.31.63.189:22  58.218.204.215:39402 ESTABLISHED - 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57227  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57228  ESTABLISHED 21491/java 
tcp  0  0 172.31.63.189:50070  128.235.8.68:57226  ESTABLISHED 21491/java 
tcp6  0  0 :::22     :::*     LISTEN  - 
tcp6  0  0 :::50077    :::*     LISTEN  - 
tcp6  0  0 :::9000     :::*     LISTEN  -

источник

2016-04-28 Harinarayanan Mohan

+0

Пожалуйста вставьте несколько строк NameNode и DataNode бревен – neeraj

+0

Привет, Я отредактировал мой вопрос с лог-Giles –

+0

NameNode Походит вверх. Но datanodes не могут установить соединение с namenode. Вы изменили порт namenode? Я вижу 9000, а по умолчанию - 8020. Убедитесь, что все конфиги имеют правильный адрес – neeraj

ответ

0

Connection отказалась я могу видеть эту ошибку с вашего поста. Я думаю, что вам нужно сделать 3 вещи

  1. убедитесь 50077 порт будет прослушивать с помощью процесса, и это ваш процесс Hadoop
  2. убедитесь, что доступ в состоянии использовать некоторые инструменты, такие как Telnet
  3. кроме брандмауэра. selinux также может влиять на доступ. Так закрыть его и перезапустить службу и попробуйте еще раз

источник

2016-04-28 02:43:34

Смежные вопросы

 Смежные вопросы