Как увеличить пространство для dfs на кластере HDFS

Question

У нас есть 4 datanode HDFS-кластера ... на каждом узле данных около 98 гб имеется большое количество пространства ... но когда я смотрю на информацию о датаноме .. это только с использованием около 10GB ...

Как мы можем сделать его использовать все 98gb, а не бежать из космоса, как показано на изображении

это HDFS-site.xml по имени узел

<configuration> 

    <property> 
     <name>dfs.replication</name> 
     <value>2</value> 
    </property> 

    <property> 
     <name>dfs.name.dir</name> 
     <value>file:///test/hadoop/hadoopinfra/hdfs/namenode</value> 
    </property> 

    <property> 
     <name>hadoop.tmp.dir</name> 
     <value>file:///tmp/hadoop/data</value> 
    </property> 

    <property> 
     <name>dfs.datanode.du.reserved</name> 
     <value>2368709120</value> 
    </property> 

    <property> 
     <name>dfs.datanode.fsdataset.volume.choosing.policy</name> 
     <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value> 
    </property> 

    <property> 
     <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name> 
     <value>1.0</value> 
    </property> 

</configuration> 

это HDFS-site.xml под узлом данных

<configuration> 

    <property> 
     <name>dfs.replication</name> 
     <value>2</value> 
    </property> 

    <property> 
     <name>dfs.data.dir</name> 
     <value>file:///test/hadoop/hadoopinfra/hdfs/datanode</value> 
    </property> 

    <property> 
     <name>hadoop.tmp.dir</name> 
     <value>file:///tmp/hadoop/data</value> 
    </property> 

    <property> 
     <name>dfs.datanode.du.reserved</name> 
     <value>2368709120</value> 
    </property> 

    <property> 
     <name>dfs.datanode.fsdataset.volume.choosing.policy</name> 
     <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value> 
    </property> 

    <property> 
     <name>dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction</name> 
     <value>1.0</value> 
    </property> 

</configuration> 

98gb находится под/тест

Пожалуйста, дайте нам знать, если мы пропустили что-нибудь в конфигурации

Answer 1

Посмотрите на dfs.datanode.data.dir в hdfs-site.xml. Это свойство будет контролировать все каталоги, которые могут использоваться для хранения блоков DFS.

Documentation Link

Так что на вас машину выполнить «DF -h», который должен перечислить все точки монтирования, которые составляют 98 ГБ. Затем в каждой точке монтирования решайте, какой каталог можно использовать для хранения данных блока HDFS, и добавьте их под разделение hdfs-site.xml для dfs.datanode.data.dir. Затем выполните переназначение наменода и все службы узлов данных.

И от отредактированного поста:

<property> 
     <name>dfs.data.dir</name> 
     <value>file:///test/hadoop/hadoopinfra/hdfs/datanode</value> 
    </property> 

Это не должно быть файла: //. Он должен выглядеть так:

<property> 
     <name>dfs.data.dir</name> 
     <value>/test/hadoop/hadoopinfra/hdfs/datanode</value> 
    </property> 

То же самое для других объектов.