Как перенести все файлы в каталог на другой в hadoop

Question

Я пытаюсь переместить все файлы из каталога в другой каталог в HDFS, используя искру scala. Короче, мне нужно найти способ использовать команду hadoop fs -mv программным способом. Поскольку я новичок в hadoop, было бы здорово, если бы кто-то мог помочь.

Answer 1

Чтобы выполнить операцию на HDFS, вам просто нужно, чтобы получить FileSystem экземпляр, с помощью

val fs = FileSystem.get(sparkContext.hadoopConfiguration) 

, то вы можете использовать его методы, чтобы сделать то, что вы хотите на HDFS. Если вы хотите переместить файл, посмотрите на переименование method.