У меня есть машина с 24 G памяти и хочу запустить hdfs, map-reducer и hbase на них, но я хочу, чтобы разделить память между map-reducer и hbase.Как разделить память между mapreducer и HBase
Я хочу, чтобы hbase использовала максимум 15 ГБ и карту-редуктор, чтобы получить максимум 8 ГГц. Каков наилучший способ его достижения?
В конфигурационных файлах вы можете указать, сколько каждому процессу разрешено иметь.
HBase проконтролировано по hbase-env.sh MapReduce контролируется mapred-site.xml
Есть хорошие комментарии в каждом файле, чтобы помочь вам найти точное свойство, которое вы ищете.
Самым сложным является mapreduce: в зависимости от того, сколько слотов вы хотите разделить, вы должны разделить максимальную память, которую вы готовы дать mapreduce, на количество слотов, которые вы предоставляете на машине. Итак, если вам нужен только один слот, вы можете установить максимальную дочернюю память на 8 ГБ; 2 слота дают вам 4 ГБ; и т. д.
Вы также можете установить дочернюю память в файл mapred-site.xml, чтобы сами задачи не могли ее переопределить.