MapReduce job stopped Выполняется

Question

Я хотел бы запустить тест теста TeraSort на Hadoop кластере. Скрипт работает, во-первых, он находится в рабочем состоянии, но через несколько минут он застрял в Accepted состоянии и FinalStatus Неопределенный. Я подумал, что это проблема ресурса, поэтому я изменил yarn-site.xml, как показано выше.

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>8192</value> 
    <description>Amount of physical memory, in MB, that can be allocated for containers.</description> 
</property> 

<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>2048</value> 
</property> 

Такая же проблема снова. Вы также можете увидеть некоторые графики выше об этом процессе. Он останавливается, когда индикатор выполнения работы работает на ~ 9-15%.

Answer 1

Пожалуйста, проверьте значения, установленные для этих параметров также:

yarn.scheduler.maximum-распределение-м.б., mapreduce.map.memory.mb, mapreduce.map.java.opts, MapReduce .reduce.memory.mb, mapreduce.reduce.java.opts

Начните с yarn.scheduler.minimum-allocation-mb, чтобы быть 512 МБ. Это поможет планировщику распределить память для задач с меньшими приращениями.

Update 1: Эта ссылка поможет понять несколько вещей: https://www.mapr.com/blog/best-practices-yarn-resource-management

Кроме того, установите входное раздвоение размера в зависимости от обстоятельств вашей среды. Для оптимальной производительности чтения размер вашего входного разделения и размер блока должны быть одинаковыми.