Как распределить память на datanode в конфигурации hadoop

Question

у нас есть требование ниже.

У нас есть полностью 5 серверов, которые будут использоваться для создания системы хранения данных Bigdata Hadoop (мы не собираемся использовать какой-либо дистрибутив, например cloudera, hortonworks ... и т. Д.).

Все серверы конфигурации 512GB оперативной памяти, хранения 30TB и 16 ядер, Ubuntu Linux 14.04LTS сервер

Мы могли бы установить Hadoop на всех серверах. Server3,4,5 будут полностью использовать их для datanode (подчиненных машин), тогда как server1 будет иметь активный Namenode и Datanode. Server2 будет иметь резервный Namenode и datanode.

Мы хотим сконфигурировать 300 ГБ оперативной памяти для Namenode и 212GB RAM для datanode при настройке hadoop.

Может ли кто-нибудь помочь мне, как это сделать. какой конфигурационный файл в hadoop необходимо изменить. какой параметр нам нужно настроить в конфигурационных файлах hadoop.

Спасибо и наилучшие пожелания, Суреш Pitchaipillai

Answer 1

Вы можете CSET этих свойств от менеджера Cloudera (в случае, если вы используете CDH) или из Ambari (если вы используете Hortonworks).

Также вам не нужно 300 ГБ для Namenode, так как namenode хранит метаданные. Грубо говоря, 1GB кучи наменода может хранить метаданные блоков 1 миллион (размер блока = 128 МБ). Подробнее здесь: https://issues.apache.org/jira/browse/HADOOP-1687

Answer 2

Предполагая, что вы собираетесь использовать последнее распределение хаопов с пряжей.

Читать эту статью - Reference. Он подробно объяснил каждый параметр, и это объясняет это потрясающе.

Существует еще одна статья от Hortenworks, хотя она применима ко всему распределению хаопов на основе apache.

Наконец-то держи это ручно - Yarn-configuration. Это самоочевидно.