Как установить размер кучи для EMR Master

Question

У меня есть работа, с которой я запускаюсь из EMR. Мастер запускает картограф. Как только это будет сделано, он загрузит тяжелую операцию в памяти, а затем unutualy выгружается. В настоящее время работа, выполняемая в кластере, терпит неудачу через несколько минут, потому что у нее заканчивается пустое место. По умолчанию он устанавливает около 1000 м на своем ведущем

Пробовал точное действие ниже, но это не сработало. Программа по-прежнему установлена ​​на 1000й

--bootstrap-действия s3: // elasticmapreduce/бутстраповские-действия/настройка-Hadoop --args -s, mapred.child.java.opts = Xmx4000m

Answer 1

Eсть специфический способ обеспечивается ЭМ, чтобы установить размер кучи в NameNode, используйте следующую команду начальной загрузки при запуске кластера:

--bootstrap действие s3: // elasticmapreduce/бутстраповские-действия/настройка-демонов - -архива - числовое обозначение-куча = 4096

Также вы можете попробовать использовать файл конфигурации. Создайте файл конфигурации XML и загрузите его в s3.

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration> 
    <property> 
     <name>mapred.child.java.opts</name> 
     <value>-Xmx4096m</value> 
    </property> 
</configuration> 

Теперь запустите кластер со следующей начальной загрузки действия:

--bootstrap действия s3: // elasticmapreduce/самозагрузки-действия/настройки-Hadoop --args «--mapred- config-file, s3: ///custom-heap-size.xml "