Как сделать изменение коэффициента репликации hadoop для файла постоянным

Question

У меня есть запрос относительно репликации hadoop.

Я изменил коэффициент репликации файлов в определенном каталоге в Hadoop с помощью указанных ниже команд:

hadoop dfs -setrep -R 3 -w /data/routing

Он был успешным и установить коэффициент репликации всех файлов в этом каталоге для 3 , Однако любой новый файл, написанный в этом каталоге, по-прежнему имел коэффициент репликации по умолчанию, то есть 2.

Есть ли способ сделать это изменение постоянным?

На самом деле я хочу, чтобы все новые файлы, написанные в этой директории, всегда имели коэффициент репликации как 3, независимо от того, что является коэффициентом репликации по умолчанию.

Answer 1

Если вы хотите что-то иное, кроме коэффициента репликации по умолчанию, вам нужно будет явно указать коэффициент репликации при создании файла (ов).

Являются ли файлы под каталогом, созданным с помощью задания mapreduce, или вручную используя какой-либо другой процесс?

Для mapreduce просто измените/задайте значение конфигурации задания для коэффициента репликации по умолчанию - dfs.replication. Если вы создаете файл (ы) вручную в каком-то java-коде, то посмотрите на API для FileSystem.create(Path, short)