Только главный узел, работающий на кластере с четырьмя узлами, используя Hadoop 2.6.0

Question

Я пытаюсь настроить и использовать кластер Hadoop с 4 узлами. Настройка кажется прекрасной, поскольку все работает в главном и подчиненном узлах.

Master: DataNode, ResourceManager, SecondaryNameNode, NameNode, NodeManager

Рабы: NodeManager, DataNode

Кроме того, журналы не показывают никаких ошибок. Однако, когда я пытаюсь запустить свой код, он занимает примерно столько же времени, сколько и при запуске его на одном узле. Кроме того, нет увеличения активности ЦП на любом из подчиненных узлов.

Рабы могут SSH к главному узлу, главный узел прослушивает на правильный порт, ...

Любая помощь на том, как я могу отследить проблему?

Спасибо!

ОС: Ubuntu 14.04.2 Hadoop версия: 2.6.0

Я видел вопросы, связанные, но они были не помогают мне:

hadoop cluster is using only master node or all nodes

Hadoop use only master node for processing data

Answer 1

В принципе у вас есть только один datanode и два nodemangers. Это не очень хорошая конфигурация по сравнению с кластером с одним узлом. Чтобы проверить, что происходит, вы можете перейти к пользовательскому интерфейсу менеджера ресурсов. По умолчанию его порт 8088.