Как сделать свободное пространство в HDFS hadoop?

Question

Как мы можем сделать свободное пространство в HDFS, если есть проблема с пространством. Какие файлы мы можем удалить, чтобы освободить место?

Спасибо

Answer 1

Сжимайте файлы, где это возможно.

https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Data_Compression

Ответ может показаться мелкой. Постарайтесь найти, какое сжатие будет соответствовать вашим потребностям.

Альтернативно вы можете хранить ваши файлы в двоичном формате, таком как последовательность или avro.

Какие файлы мы можем удалить, чтобы освободить место? Удалите те, которые больше не требуются никакими работами (такими как MR, Hive, Pig, Spark и т. Д.).

Answer 2

Если у вас включена конфигурация корзины, у вас может быть много файлов, накопленных в каталоге .Trash (в зависимости от вашего интервала). Если это так, вы можете попробовать удалить содержимое каталога .Trash. Примечание: По умолчанию корзина мусора - '/user/username/.Trash'