Ошибка виртуальной памяти на сервере Hadoop

Question

Получаю ответ Done в конце выполнения команды, но также и ответ: There are 4 pending tasks possibly being run by other workers.

Всякий раз, когда выполнение достигает MapReduce, оно отображает 100%, а затем уменьшает до 4%, а затем ломается и жалуется, что контейнер работает за пределы виртуальной памяти.
Я пробовал редактировать файлы «mapred-site.xml» и «yarn-site.xml», чтобы выделить определенную память для обработки задания и снова запустить задание, но когда он доходит до MapReduce, я до сих пор получаю эту ошибку контейнера:

exitCode: 143 due to: Container [pid=30255,containerID=container_1467369594931_0001_02_000001] is running beyond virtual memory limits. Current usage: 205.4 MB of 1 GB physical memory used; 3.0 GB of 2.1 GB virtual memory used. Killing container.

а также HadoopJobError:

HadoopJobError: ('Streaming job failed with exit code 1. Also, no tracking url found.', 'packageJobJar: [/var/lib/analytics-tasks/analyticstack/venv/local/lib/python2.7/site-packages/luigi/mrrunner.py, /tmp/tmpdE5zuW/packages.tar, /tmp/tmpdE5zuW/job-instance.pickle, /tmp/hadoop-hadoop/hadoop-unjar4084911391400860326/] [] /tmp/streamjob4527588275110250460.jar tmpDir=null\n', '16/07/01 05:40:55

Пожалуйста, кто-нибудь есть возможное решение/подход, чтобы помочь решить эту проблему.

Answer 1

Это неправильно настроенная mapred-site.xml. Ресурсы, доступные для ResourceManager, приведены в yarn-site.xml. На основе имеющихся ресурсов вы должны выделить ресурсы, доступные для контейнера mapper/reducer в mapred-site.xml. Я предполагаю, что внутри mapred-site.xml вы указали mapreduce.reduce.memory.mb меньше, чем значение yarn.scheduler.minimum.allocation.mb в yarn-site.xml. Также проверьте соотношение виртуальной и физической памяти (yarn.nodemanager.vmem-pmem-ratio) в yarn-site.xml. И помните о размерах куперов/редукторов, которые они должны быть ограничены меньшим, чем память, которую вы распределяете по своим контейнерам.