MapReduce jobs застрял в состоянии Принято

Question

У меня есть свой собственный код MapReduce, который я пытаюсь запустить, но он просто остается в состоянии Accepted. Я попробовал запустить другую пробную работу MR, которую я бы выполнил ранее, и которая была успешной. Но теперь оба задания остаются в состоянии Accepted. Я попытался изменить различные свойства в mapred-site.xml и yarn-site.xml, как упоминалось, here и here, но это тоже не помогло. Может кто-то, пожалуйста, указать, что может быть неправильным. Я использую Hadoop-2.2.0

Я пробовал много значений для различных свойств, вот один набор с ценностно В mapred-site.xml

<property> 
<name>mapreduce.job.tracker</name> 
<value>localhost:54311</value> 
</property> 

<property> 
<name>mapreduce.job.tracker.reserved.physicalmemory.mb</name> 
<value></value> 
</property> 

<property> 
<name>mapreduce.map.memory.mb</name> 
<value>256</value> 
</property> 

<property> 
<name>mapreduce.reduce.memory.mb</name> 
<value>256</value> 
</property> 


<property> 
<name>yarn.app.mapreduce.am.resource.mb</name> 
<value>400</value> 
<source>mapred-site.xml</source> 
</property> 

В пряжи сайте. xml

<property> 
<name>yarn.nodemanager.resource.memory-mb</name> 
<value>400</value> 
<source>yarn-site.xml</source> 
</property> 
<property> 
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name> 
<value>.3</value> 
</property> 

Answer 1

У меня был такой же эффект, и я обнаружил, что для системы требуется больше памяти для каждого рабочего узла и сокращение объема памяти, необходимой для приложения.

Настройки у меня есть (на моих очень маленьких экспериментальных коробок) в моей пряжи site.xml:

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>2200</value> 
    <description>Amount of physical memory, in MB, that can be allocated for containers.</description> 
</property> 

<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>500</value> 
</property> 

Answer 2

Следуйте блог - http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/

Это подробно описано, как установить параметры Контейнеры YARN

Answer 3

Имеет ту же проблему, и для меня это был полный жесткий диск (> 90% полный), что было проблемой. Место для уборки спасло меня.

Answer 4

Задание, застрявшее в accepted состоянии на YARN, обычно из-за свободных ресурсов недостаточно. Вы можете проверить его на http://resourcemanager:port/cluster/scheduler:

1. если Memory Used + Memory Reserved >= Memory Total, память не хватает
2. если VCores Used + VCores Reserved >= VCores Total, VCores не хватает

Он также может быть ограничен такими параметрами, как maxAMShare.

Answer 5

Я столкнулся с той же проблемой. И я изменил каждую конфигурацию, упомянутую в приведенных выше ответах, но все же это бесполезно. После этого я снова проверил работоспособность своего кластера. Там я заметил, что мой единственный узел находится в нездоровом состоянии. Проблема заключалась в нехватке дискового пространства в каталоге/tmp/hadoop-hadoopUser/nm-local-dir. То же самое можно проверить, проверив состояние работоспособности узла в веб-интерфейсе менеджера ресурсов на порту 8032. Чтобы решить эту проблему, я добавил свойство ниже в файле yarn-site.xml.

<property> 
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> 
    <value>98.5</value> 
</property> 

После перезагрузки моего Hadoop демонов, состояние узла было изменено на здоровый и рабочий начали работать