Пряжа: автоматическая очистка файлового кэша и usercache

Question

Мы работаем с искровой поточной работой с пряжей в качестве менеджера ресурсов, заметив, что эти два каталога заполняются на узлах данных, и у нас заканчивается свободное пространство, когда мы запускаем только пару из

/TMP/Hadoop/данных/нм-местный-каталог миня/файловый кэш

/TMP/Hadoop/данные/нм локальной реж/файловый кэш

эти каталоги не получают автоматически очищается, из моих исследований установлено, что это свойство необходимо установить, yarn.nodemanager.localizer.cache.cleanup.interval-ms

Даже после настройки этой ..Это не автоматически убирая помощь будет очень цениться

<configuration> 
    ~ 
    ~ <property> 
    ~  <name>yarn.nodemanager.aux-services</name> 
    ~  <value>mapreduce_shuffle</value> 
    ~ </property> 
    ~ 
    ~ <property> 
    ~  <name>yarn.resourcemanager.hostname</name> 
    ~  <value>hdfs-name-node</value> 
    ~ </property> 
    ~ 
    ~ <property> 
    ~  <name>yarn.nodemanager.resource.memory-mb</name> 
    ~  <value>16384</value> 
    ~ </property> 
    ~ 
    ~ <property> 
    ~  <name>yarn.nodemanager.resource.cpu-vcores</name> 
    ~  <value>6</value> 
    ~ </property> 
    ~ 
    ~ <property> 
    ~  <name>yarn.scheduler.maximum-allocation-mb</name> 
    ~  <value>16384</value> 
    ~ </property> 
     <property> 
    ~  <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name> 
    ~  <value>3000</value> 
    ~ </property> 
    ~ 
    ~ <!-- Needs to be explicitly set as part of a workaround for YARN-367. 
    ~  | If changing this property, you must also change the 
    ~  | hadoop.tmp.dir property in hdfs-site.xml. This location must always 
    ~  | be a subdirectory of the location specified in hadoop.tmp.dir. This 
    ~  | affects all versions of Yarn 2.0.0 through 2.7.3+. --> 
    ~ <property> 
    ~  <name>yarn.nodemanager.local-dirs</name> 
    ~  <value>file:///tmp/hadoop/data/nm-local-dir</value> 
    ~ </property> 
    ~ 
    ~ </configuration> 

Answer 1

Интервал кэш очистки хорошо, но, как локальный каталог находится в /tmp, может быть заполнение очень быстро, обычно /tmp будет иметь меньше места. Моя рекомендация изменить yarn.nodemanager.local-dirs для любых дисков хранения данных, как /u01

Рекомендуемое значение yarn.nodemanager.localizer.cache.cleanup.interval-ms является 600000 или 10 mins

Answer 2

Если основная проблема заключается в том, что вы работаете из пространства, то попробуйте установить более низкое значение для пряжи свойство "yarn.nodemanager.localizer.cache.target-size-mb". По умолчанию это 10240 МБ (10 ГБ).

Как для автоматической очистки не получить срабатывают, а это может быть связанно с (или по-крайней мере, связанным с) этой нерешенной ошибкой сообщила о Пряже 2.7.1: https://issues.apache.org/jira/browse/YARN-4540