Как изменить домашний каталог пользователя HDFS пользователя hdfs?

Question

В моей практике Hadoop HDFS я понял, что при создании пользователя скажем u1 и попытке поместить файл из локальной файловой системы в HDFS, он ищет каталог /user/u1 (по умолчанию) с разрешениями на запись в файл HDFS система.

По умолчанию все пользователи ищут свои (домашние HDFS) каталоги в каталоге /user на HDFS. Я сомневаюсь, могу ли я изменить домашний каталог HDFS по умолчанию на каталог /user из чего-то другого.

также есть ли возможность иметь различные места для HDFS домашних каталогов для различных пользователей, как мы делаем в случае пользователей Linux, то есть для user1 домашний каталог HDFS должен быть /home1/user1 и * user2 домашний каталог HDFS должна быть /home2/user2.

Пожалуйста, исправьте меня, если мои предположения ошибочны.

Answer 1

Когда мы используем различный пользовательский оттенок, он покажет вам другой путь. Так же, как «hdfs», логином входа пользователя является «/ user/hdfs». поэтому, если вы знаете информацию о пользователе, которую вы можете контролировать самостоятельно, например, создать каталог для пользователя: «/ user/{username}»

Answer 2

Сценарий hadoop-env.sh, который запускается для ваших команд консоли HDFS, всегда будет принимать HADOOP_USER_NAME для кластер без Kerberized.

Поэтому, если вы пользователь foo, и вы добавили export HADOOP_USER_NAME=bar в свой .bashrc, к примеру, и сделал hdfs dfs -ls, то он будет искать /user/bar на HDFS.

Вы также можете «стать» любой пользователь HDFS во время выполнения и уничтожить все HDFS как так HADOOP_USER_NAME=hdfs hdfs dfs -rm -R -f -skipTrash /