Минимальные системные требования для работы кластера Hadoop с высокой доступностью

Question

Из того, что я понимаю, для высокой доступности в hadoop нам нужен один узел имен и один резервный узел, общее сетевое пространство хранения (разделенное между двумя узлами имен), не менее 2 узлов данных для запуска скопированного кластера.

1. Можем ли мы запустить сервер dataNode на том же компьютере, на котором запущен узел имен.

2. Может ли пряжа работать на машине, на которой запущен сервер имен или данных.

Просьба предложить, если мне не хватает каких-либо других услуг, необходимых для создания среды hadoop.

Какими должны быть системные требования для узла имени, поскольку он обрабатывает только метаданные (интенсивность ввода-вывода CPU Intensive). Данные, которые мы хрустем, в основном связаны с интенсивностью ввода-вывода.

Answer 1

Для Hadoop HA - вам нужно как минимум две отдельные машины, которые могут запускать Namenode и Namenode HA. Таким образом, в теории вы можете иметь Hadoop HA-кластер с двумя машинами. Но это практически не полезно.

Чтобы ответить на другой вопрос: 1. Вы можете запустить службу DataNode на машине, которая запускает службу Namenode. Это общий сценарий в кластере PoC, где у вас небольшой кластер (примерно 3-7node). ПРИМЕЧАНИЕ. Вы должны использовать специализированные машины для мастер-сервисов, таких как Namenode, в составе лучших практик.

2. Да, вы можете запускать службы YARN на машине, которая запускает Datanode или Namenode или и то, и другое. На самом деле, в кластере с одним узлом все службы работают на одной машине. В принципе, все эти службы, такие как Namenode, Datanode, YARN, являются Java-процессом, поэтому они запускаются на отдельных JVM. Вы можете разместить все эти процессы на одном и том же узле или в другом узле согласно пожеланию.

NameNode в основном нуждается в оперативной памяти, которая зависит от размера данных кластера и количество блоков, которые вы имеете в кластере или ожидается have.Generally, ваши запросы (ЦП или ввода/вывода интенсивно) не влияют на NameNode системные требования.

Подробнее об услуге смотрите:

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html