2014-10-29 8 views
0

Я успешно создал кластер hadoop с CDH4 на ubuntu. Я создал это с одним мастером (ведущим) и одним подчиненным (slave1). Теперь я хочу добавить еще один кластер. Для этого я просто клонировал slave2 и обновил хосты и ssh соответственно. Затем я обновляю файл conf/slaves со всеми именами datanode dns во всех узлах и перезапускаю все. Но он не обнаруживает новый datanode, вместо этого он показывает только старый, который является slave1, а не slave2. Может ли кто-нибудь помочь мне в этом? Я использовал cdh4-repository_1.0_all.debCDH4: Добавить новый узел в существующий кластер

ответ

0

@ user2009755, вам нужно создать основной и подчиненный файл только в главном. И в файлах конфигурации в $ HADOOP_HOME/etc/hadoop внесите необходимые изменения в URI, указывающие на главный узел.

ПРИМЕЧАНИЕ. Попробуйте форматировать namenode и удалить файлы tmp (обычно/tmp/*), но если вы изменили его на core-site.xml, отформатируйте этот каталог во всех узлах и запустите все демоны, это сработало для меня.

+0

Я сделал его работу, наконец, .и отформатированный NameNode и воссозданы узел данных каталогов для хранения и перезагрузки все, и это сработало. Но в производстве я не могу отформатировать NN. – Deb

+0

@ user2009755, какая ошибка при попытке форматирования namenode? пожалуйста, опубликуйте его. – kishorer747

+0

форматирование всегда работает для меня ... моя проблема заключалась только в том, чтобы добавить новый узел, который был окончательно решен .. – Deb

0

Существует очень много причин,

Вы измените значение dfs.replication до 3 в конф/HDFS-site.xml ??

проверка на мастер с cammands hduser @ мастер: ~ $ SSH ведомое он должен быть показать подчиненный терминал, если нет, то выполнить эту cammand - hduser @ мастер: ~ $ SSH-копия-ID -i $ HOME/.ssh/id_rsa.pub hduser @ раб

для полного понимания этой ссылки

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

Смежные вопросы