Datanode получение мертвых ambari hadoop

Question

У меня есть настройка hasoop cluster с помощью ambari 1.7 У меня возникла проблема с прошивкой. Вначале узлы данных запускаются, но автоматически в течение доли секунды он становится мертвым. Когда я пытаюсь перезапустить datanode, он не запускается. Пожалуйста, помогите мне решить эту проблему.
Входа для перезапуска DataNode следующего

2015-01-26 17:58:02,233 - Error while executing command 'start': 
Traceback (most recent call last): 
    File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py", line 123, in execute 
    method(env) 
    File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/services/HDFS/package/scripts/datanode.py", line 37, in start 
    datanode(action="start") 
    File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/services/HDFS/package/scripts/hdfs_datanode.py", line 55, in datanode 
    create_log_dir=True 
    File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/services/HDFS/package/scripts/utils.py", line 102, in service 
    not_if=service_is_up 
    File "/usr/lib/python2.6/site-packages/resource_management/core/base.py", line 148, in __init__ 
    self.env.run() 
    File "/usr/lib/python2.6/site-packages/resource_management/core/environment.py", line 149, in run 
    self.run_action(resource, action) 
    File "/usr/lib/python2.6/site-packages/resource_management/core/environment.py", line 115, in run_action 
    provider_action() 
    File "/usr/lib/python2.6/site-packages/resource_management/core/providers/system.py", line 241, in action_run 
    raise ex 
Fail: Execution of 'ulimit -c unlimited; su -s /bin/bash - hdfs -c 'export HADOOP_LIBEXEC_DIR=/usr/hdp/current/hadoop-client/libexec && /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /etc/hadoop/conf start datanode'' returned 1. stdin: is not a tty 
starting datanode, logging to /var/log/hadoop/hdfs/hadoop-hdfs-datanode-node1.out 

У меня есть проблемы после похожа перезагрузки моего Hadoop кластера. А вот мой лог-файл из /var/log/hadoop/hdfs/hadoop-hdfs-datanode-master.hadoopcluster.out

ulimit -a for user hdfs 
core file size   (blocks, -c) unlimited 
data seg size   (kbytes, -d) unlimited 
scheduling priority    (-e) 0 
file size    (blocks, -f) unlimited 
pending signals     (-i) 62510 
max locked memory  (kbytes, -l) 64 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 128000 
pipe size   (512 bytes, -p) 8 
POSIX message queues  (bytes, -q) 819200 
real-time priority    (-r) 0 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 65536 
virtual memory   (kbytes, -v) unlimited 
file locks      (-x) unlimited 

Answer 1

Вот как я решить эту проблему (Это не идеальное решение, но я поместите его здесь для справки).

После нескольких попыток и поиска Google, я освобожу его, может быть вызвано несогласованностью между узлом имени и узлом данных.

Таким образом, я удалил весь каталог HDFS с каждого узла данных. Местоположение вашего каталога узлов данных можно просмотреть с hdfs-site.xml.

После этого я форматировать NameNode с помощью команды hadoop namenode -format

К тому времени, я был в состоянии запустить узлы данных, но не удалось запустить NameNode.

Наконец, я удалил каталог имен имен с моей главной машины и перезапустил весь кластер.

Теперь он работает нормально, но я неизбежно потерял данные о происхождении в старой HDFS.