Hadoop hdfs не удалось найти файл

Question

Im пытается скопировать файл в hdfs, используя команду ниже. Имя файла - googlebooks-eng .... и т. Д.

Когда я пытаюсь перечислить файл в hdfs, я не вижу имя файла, которое будет указано. Каким будет фактическое имя файла?

hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema 
hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -ls /user/prema 
Found 1 items 
-rw-r--r-- 1 hadoop-user supergroup 192403080 2014-11-19 02:43 /user/prema 

Answer 1

Почти все утилиты hadoop dfs соответствуют стилю unix. Синтаксис hadoop dfs -put:

hadoop dfs -put <source_file> <destination>. Здесь назначение может быть каталогом или файлом. В вашем каталоге case/user существует, но каталог prema не существует, поэтому при копировании файлов из local в hdfs prema будет использоваться для имени файла. googlebooks-eng-all-1gram-20120701-0 и /user/prema - это тот же файл.

Если вы хотите сохранить имя файла. Перед копированием необходимо удалить существующий файл и создать новый каталог/пользователь/према;

bin/hadoop dfs -rm /user/prema; 
bin/hadoop dfs -mkdir /user/prema; 
bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema 

Теперь вы должны быть в состоянии видеть файл в каталоге HDFS/пользователь/премы

bin/hadoop dfs -rm /user/prema