пряжи: изменения пряжи site.xml не вступают в силу

Question

У нас есть искра потоковое приложение, работающее на HDFS 2.7.3 с пряжей в качестве менеджера ресурсов .... во время работы приложения .. эти две папки

/tmp/hadoop/data/nm-local-dir/filecache 

/tmp/hadoop/data/nm-local-dir/filecache 

заполняются и, следовательно, диск .....

так из моего исследования обнаружили, что настройка этих двух свойств в пряжу-site.xml поможет

<property> 
     <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name> 
     <value>2000</value> 
</property> 

<property> 
     <name>yarn.nodemanager.localizer.cache.target-size-mb</name> 
     <value>2048</value> 
</property> 

я настроил их на каждый namenode и masternode .. и перезапустил пряжу на masternode .. но все же, похоже, не помогает ... пожалуйста, дайте мне знать, если я что-то пропустил ... при изменении конфигурации ... это пряжа -site.xml

<!-- Site specific YARN configuration properties --> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>hdfs-name-node</value> 
</property> 

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>16384</value> 
</property> 

<property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>6</value> 
</property> 

<property> 
    <name>yarn.scheduler.maximum-allocation-mb</name> 
    <value>16384</value> 
</property> 

<property> 
    <name>yarn.nodemanager.local-dirs</name> 
    <value>file:///tmp/hadoop/data/nm-local-dir</value> 
</property> 

<property> 
    <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name> 
    <value>2000</value> 
</property> 

<property> 
    <name>yarn.nodemanager.localizer.cache.target-size-mb</name> 
    <value>2048</value> 
</property> 

</configuration> 

Update: я пытался с этим свойством, но до сих пор не чистит и диск получает полный

<property> 
     <name>yarn.nodemanager.local-dirs</name> 
     <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value> 
    </property> 

Answer 1

Вы говорите, что папка «/ tmp/hadoop/data/nm-local-dir/filecache "заполняется так следует периодически очищать.

Но параметр, указанный вами для очистки, в частности, "yarn.nodemanager.localizer.cache.cleanup.interval-ms" и "yarn.nodemanager.localizer.cache.target-size-mb" применим к "/ tmp/hadoop/data/nm-local-dir/filecache ", но значение" yarn.nodemanager.local-dirs "в файле file: /// tmp/hadoop/data/nm-local-dir не включает в себя" filecache "в пути. Исправьте значение «file: /// tmp/hadoop/data/nm-local-dir» в «файл: /// tmp/hadoop/data/nm-local-dir/filecache».