Как уменьшить размер HDFS в Hadoop

Question

Iam, используя Hadoop для синтаксического анализа (около 1 миллиона) текстовых файлов, и у каждого есть много данных. Сначала я загрузил все свои текстовые файлы в hdfs, используя Eclipse. Но при загрузке файлов моя операция по сокращению карты привела к огромному количеству файлов в следующем каталоге C: \ tmp \ hadoop-admin \ dfs \ data. Итак, есть ли какой-либо механизм, с помощью которого я могу уменьшить размер моей HDFS (в основном выше упомянутого диска).

Answer 1

, чтобы уменьшить размер HDFS вы можете установить большее значение (в байтах) для следующих hdfs-site.xml свойства

dfs.datanode.du.reserved=0 

Вы также можете снизить количество данных, полученных с помощью карты выходов, позволяя карту выходного сжатие.

map.output.compress=true 

надеется, что это поможет.