Ошибка HDFS: `input ': Нет такого файла или каталога

Question

Я установил hadoop 2.6.0, и я играю с ним. Я пытаюсь Псевдо-распределенную установку и я, следуя инструкциям на http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Execution я застрял на 5-м шаге то есть, когда я запускаю команду

bin/hdfs dfs -put etc/hadoop input 

я получаю ошибку ниже.

15/02/02 00:35:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
put: `input': No such file or directory 

Почему я получаю эту ошибку? Как я могу это решить?

Answer 1

Вы получаете ошибку, потому что такой каталог не указан в пути. Пожалуйста, взгляните на my answer to a similar question, в котором объясняется, как хаоп интерпретирует относительный путь.

Убедитесь, что вы создали каталог первого использования:

bin/hadoop fs -mkdir input 

, а затем попытаться повторно выполнить команду -put.

Answer 2

В дополнение к тому, что написал Ashrith -p, можно также добавить на всякий случай, что каталог еще не создан.

bin/hadoop fs -mkdir -p /path/to/hdfs/dir 

Надеюсь, это поможет кому-то еще.

Answer 3

В приведенном выше вопросе две части:

1. Его предупреждения показывая Thats becuase U необходимо использовать 64-битную один и Hadoop Native Lib скомпилирован в 32 бит. Это предупреждение не повлияет на ваш код.
2. Вторая ошибка в основном потому, что она не может помещать файл во входную папку. U необходимо создать папку в Hadoop с помощью команды Hadoop MKDIR:

Hadoop фс -mkdir/hadoopinput

ИЛИ [Для новой версии]

HDFS ДФС -mkdir/hadoopinput

Теперь U может помещать файл в папку:

hdfs dfs -put/Users/{имя пользователя}/Desktop/file01/hadoopinput

Чтобы проверить файл копируется в папку или не использовать следующую команду:

HDFS ДФС -ls/hadoopinput

Answer 4

РЕШИТЬ: 1. Сделайте свой каталог в HDFS HDFS ДФС -mkdir/input_file_name 2. Скопируйте данные в hdfs. hadoop fs -put filename.txt/input_file_name/output_file_name

Answer 5

Есть две ошибки, в первую очередь, встроенная библиотека hadoop для вашей платформы. Это связано с тем, что вы не установили winupils для вашей версии hadoop.Ответьте на этот вопрос для получения более подробной информации. https://stackoverflow.com/a/46382570/6337190 Вторая ошибка - нет такого файла или каталога. Это связано с тем, что вы должны правильно указать путь. Перейдите в каталог вашего Hadoop/bin/и писать команды

Для создания каталога

HDFS ДФС -mkdir/вход

Чтобы поместить файл в каталоге

HDFS ДФС -Положите/путь/к/file.txt/вход

Чтобы проверить файл в каталоге

HDFS Dfs -ls/входные

Answer 6

Просто введите «/» infront ввода, поскольку это каталог.

./bin/hdfs dfs -put etc/hadoop /input 

надеюсь, что это помогает