использование памяти Hadoop JobTracker increasingv

Question

Когда я открываю jobtrackerhost: 50030/jobtracker.jsp

Я могу видеть, как размер кучи: Краткое описание кластера (Heap Калибр 1,17 ГБ/7,99 ГБ)

Это по-прежнему растет , Через 3-5 дней он достигает пика.

У нас есть 2 Hadoop-кластера. На кластере A размер кучи перестает увеличиваться вокруг пика. На кластере B размер кучи продолжает расти через 3-5 дней, а работа - вниз. (Процесс прошел)

Теперь мне действительно интересно узнать, почему размер кучи продолжает расти? это нормально или это проблема?

Спасибо, Xinsong

Answer 1

@vefthym, я думаю, что файл mapred-site.xml не является полным, поскольку кластер Hadoop управляется Cloudera Manager.

Вот содержание в mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?> 

<!--Autogenerated by Cloudera CM on 2013-07-01T01:39:46.361Z--> 
<configuration> 
    <property> 
    <name>fs.defaultFS</name> 
    <value>hdfs://xxxx.com:8020</value> 
    </property> 
    <property> 
    <name>io.file.buffer.size</name> 
    <value>65536</value> 
    </property> 
    <property> 
    <name>io.compression.codecs</name> 
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value> 
    </property> 
    <property> 
    <name>hadoop.security.authentication</name> 
    <value>simple</value> 
    </property> 
    <property> 
    <name>hadoop.rpc.protection</name> 
    <value>authentication</value> 
    </property> 
    <property> 
    <name>hadoop.security.auth_to_local</name> 
    <value>DEFAULT</value> 
    </property> 
</configuration>