Hadoop NameNode не начиная

Question

я получаю java.io.IOException: Не удалось загрузить файл FSImage при запуске NameNode

ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile(file=/opt1/dfs/nn/current/fsimage_0000000000023479779, cpktTxId=0000000000023479779) 
java.io.IOException: Unexpected block size: -1945969516689645797 

java.io.IOException: Failed to load an FSImage file! 

И NameNode не начать работу из-за этого. У меня есть 1 namenode, 1 seconden namenode и 3 datanodes в моем кластере.

Может кто-нибудь помочь мне восстановить кластер.

Answer 1

Попробуйте форматировать NameNode: Hadoop NameNode -format

Обратите внимание, что для того, чтобы иметь права доступа для форматирования необходимо выполнить команду, как HDFS пользователя. Для того, переключатель, например, от пользователя Cloudera к HDFS сделать следующее:

Sudo Баш

су - HDFS

---

Если вы все еще получаете ошибки относительно DataNode I, вероятно, необходимо очистить папку datanode:

Попробуйте сначала удалить папку datanode (вы можете найти ее в конфигурации f ile под dos.data.dir, dfs.datanode.data.dir).

Если у вас есть Cloudera-QUICKSTART-VM расположение /вар/Lib/Hadoop-HDFS/кэш/HDFS/ДПП/данные

Answer 2

Остановить все узел данных и имя узла и имя формата узла вторичного с помощью команды:

sudo -u hdfs hdfs namenode -format 

Restart узел имени и узлы данных