Контроллинг настройки ПРЯЖА памяти в модели памяти Apache Apex

Я вижу следующий журнал из веб-интерфейса иногда, когда мои операторы становятся убиты. Можно ли каким-либо образом управлять параметрами памяти, которые используются для связи с YARN при ведении переговоров с контейнером?

Как типичные настройки YARN для кучи контейнера и максимальной памяти относятся к модели распределения памяти Apex.

информационных сообщений, которые я вижу в веб-интерфейсе следующим образом:

Container [pid=14699,containerID=container_1462863487071_0015_01_000012] is running beyond physical memory limits. Current usage: 1.5 GB of 1.5 GB physical memory used; 6.1 GB of 3.1 GB virtual memory used. Killing container. 
Dump of the process-tree for container_1462863487071_0015_01_000012 : 
    |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE 
    |- 14817 14699 14699 14699 (java) 1584 1654 6426968064 393896 /usr/java/default/bin/java -Xmx4429185024 -Ddt.attr.APPLICATION_PATH=hdfs://dwh109.qaperf2.sac.int.threatmetrix.com:8020/user/dtadmin/datatorrent/apps/application_1462863487071_0015 -Djava.io.tmpdir=/data3/yarn/nm/usercache/root/appcache/application_1462863487071_0015/container_1462863487071_0015_01_000012/tmp -Ddt.cid=container_1462863487071_0015_01_000012 -Dhadoop.root.logger=INFO,RFA -Dhadoop.log.dir=/data3/yarn/container-logs/application_1462863487071_0015/container_1462863487071_0015_01_000012 -Ddt.loggers.level=com.datatorrent.*:INFO,org.apache.*:INFO com.datatorrent.stram.engine.StreamingContainer 
    |- 14699 14697 14699 14699 (bash) 1 2 108646400 303 /bin/bash -c /usr/java/default/bin/java -Xmx4429185024 -Ddt.attr.APPLICATION_PATH=hdfs://dwh109.qaperf2.sac.int.threatmetrix.com:8020/user/dtadmin/datatorrent/apps/application_1462863487071_0015 -Djava.io.tmpdir=/data3/yarn/nm/usercache/root/appcache/application_1462863487071_0015/container_1462863487071_0015_01_000012/tmp -Ddt.cid=container_1462863487071_0015_01_000012 -Dhadoop.root.logger=INFO,RFA -Dhadoop.log.dir=/data3/yarn/container-logs/application_1462863487071_0015/container_1462863487071_0015_01_000012 -Ddt.loggers.level=com.datatorrent.*:INFO,org.apache.*:INFO com.datatorrent.stram.engine.StreamingContainer 1>/data3/yarn/container-logs/application_1462863487071_0015/container_1462863487071_0015_01_000012/stdout 2>/data3/yarn/container-logs/application_1462863487071_0015/container_1462863487071_0015_01_000012/stderr 

Container killed on request. Exit code is 143 
Container exited with a non-zero exit code 143

источник

2016-05-12 DataTorrent Community

Похоже, что оператор требует больше памяти. Вы можете добавить это свойство, чтобы иметь больше памяти, выделенной для контейнера. В properties.xml для оператора O в приложении можно указать свойство:

<property> 
<name>dt.operator.O.attr.MEMORY_MB</name> 
<value>2048</value> 
</property>

Для более заблаговременного варианта, возьмите посмотрите на Физической коде подготовки плана.

https://github.com/apache/incubator-apex-core/blob/ddb7471edd37ef228432c7d80e1e118368e68450/engine/src/main/java/com/datatorrent/stram/plan/physical/PhysicalPlan.java

Для более руководство по устранению неполадок, посмотрите на

http://docs.datatorrent.com/troubleshooting/#configuring-memory

источник

2016-05-12 21:54:44

Контроллинг настройки ПРЯЖА памяти в модели памяти Apache Apex

ответ

Смежные вопросы