2013-12-22 2 views
5

Я установил Hadoop 2.2 на одном компьютере с помощью этого учебника: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/Hadoop HDFS: «нет такого файла или каталога»

Некоторые детали были изменены немного - например, я использовал Java 8,/Hadoop root dir и т. д. Пользователи, SSH, ключи конфигурации - то же самое.

NameNode был успешно отформатирован:

13/12/22 05:42:31 INFO common.Storage: Storage directory /hadoop/tmp/dfs/name has been successfully formatted. 
13/12/22 05:42:31 INFO namenode.FSImage: Saving image file /hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression 
13/12/22 05:42:32 INFO namenode.FSImage: Image file /hadoop/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 198 bytes saved in 0 seconds. 
13/12/22 05:42:32 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 
13/12/22 05:42:32 INFO util.ExitUtil: Exiting with status 0 
13/12/22 05:42:32 INFO namenode.NameNode: SHUTDOWN_MSG: 

Однако, не 'MkDir' команда ни один даже 'LS' работали:

$ /hadoop/hadoop/bin/hadoop fs -ls 
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /hadoop/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now. 
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'. 
13/12/22 05:39:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
ls: `.': No such file or directory 

Спасибо за любую помощь, ребята.

+0

обновление: **/hadoop/hadoop/bin/hadoop fsck -move ** prints _Дейная файловая система в пути '/' HEALTHY_ – Spaceman

+0

'ls: '.': Никакого такого файла или каталога' не может означать, что у вас ничего нет (нет файл или папка) в hdf. Вы упомянули, что 'hadoop fs -mkdir' тоже не работает, какая ошибка? вы пробовали 'hadoop fs -mkdir/tmp'? – zhutoulala

+0

@zhutoulala слишком поздно =) Я переключился на рамки Disco MR, и я доволен этим ... Hadoop чувствует себя одним из самых недружественных для пользователя инструментов, которые я когда-либо использовал. «Стиль Java», да. – Spaceman

ответ

2

Я проверил это работало в Hadoop 2,5

hdfs dfs -mkdir /input 

(где /input представляет собой трет он HDFS каталог)

2

работал в моем случае: Первый Получить Hadoop установленный путь по:

echo ${HADOOP_INSTALL} //in my case output is : `/user/local/hadoop` 

Затем создать каталог на вашем Hadoop установлен путь, если вы знаете, что ваш Hadoop установлен каталог игнорируйте выше команды

hadoop fs -mkdir -p /user/local/hadoop/your_directory 

Здесь Hadoop является каталог

Проверено на Hadoop 2.4

Смежные вопросы