Конфигурирование кластера Hadoop с несколькими режимами

Question

Я пытаюсь настроить кластер из нескольких узлов. У меня есть 3 машины, один из которых действует как namenode и datanode, а два других - как datanode. У меня разные имена пользователей для всех машин, у node1 есть имя пользователя hdfsadmin, node2 имеет имя пользователя hduser, а узел 3 также имеет имя пользователя hduser. Проблема в том, что Hadoop выдает сообщение об ошибке отказа, когда я пытаюсь подключиться к datanode, так как он ожидает того же имени для datanodes, что и имя, которое отличается в моем случае. Как я могу это решить?

Заранее спасибо

Answer 1

Нет, его не надо иметь такое же имя хоста для всех узлов. Перекрестная проверка:

1) Убедитесь, что вы можете использовать другой узел.

2) Убедитесь, что все имена хостов указаны в файле/etc/hosts с IP-адресом.

hadoopmnmaster 192.168.56.11 
hadoopmnslave1 192.168.56.12 
hadoopmnslave2 192.168.56.13 
hadoopmnslave3 192.168.56.14 

3) Сделать запись на ведущие/подчиненные узлы в файле master/slave в каталоге conf.

4) Убедитесь, что демоны работают на каждом узле.

Если все выше соответствует значению, то ваш кластер должен работать нормально.

Answer 2

Вы должны обновить каждый из ключа SSH «SSH-серийник -R имя пользователя» будет обновлять все ключи SSH и и будет разрешен доступ к