S3-Dist-Cp Не удалось выполнить EMR5

Question

У меня проблемы с командой s3-dist-cp в версии emr-5.0.0. В моем приложении мне нужно нажать некоторые файлы из hdfs на S3. Для этого я использую команду s3-dist-cp. Он отлично работал в emr-4.2.0. Но он не работает в emr-5.0.0. Если я запускаю команду вручную, она работает нормально. Но это не удается в моем приложении. Я не делал никаких изменений в своем приложении, чтобы запустить его на emr-5.

Должен ли я внести какие-либо изменения, если мне нужно использовать emr-5? Были ли какие-либо изменения в использовании команды s3-dist-cp в emr-5?

Я использую следующую команду:

s3-dist-cp --src /user/hive/warehouse/abc.text --dest s3n://bucket/abc.text 

Answer 1

синтаксис, который вы использовали для s3-DIST-ф неверна. Повторите попытку с помощью команды ниже.

s3-dist-cp --src hdfs:///user/hive/warehouse/abc.text --dest s3n://bucket/abc.text 

Сообщите мне, если это решает вашу проблему.

Answer 2

Первое, s3n:// теперь устарело, начните использовать s3:// для путей S3.

Во-вторых, если вы просто скопировать файл на S3 из локального файла на кластере, вы можете использовать aws s3 cp:

aws s3 cp /user/hive/warehouse/abc.text s3://bucket/abc.text 

Answer 3

s3-распред-ф доступна только на главном узле (s3-расстояние-cp.jar).

Ниже приведено расположение приложения.

/usr/share/aws/emr/s3-dist-cp/ 

s3-расстояние-cp.jar не доступен в подчиненных узлах.
Вы можете войти в подчиненную машину и проверить ее.

Таким образом, причиной может быть неудача вашего приложения. В новом emr вы можете использовать инструмент управления рабочим процессом, который развертывает приложение на ведомых устройствах и начинает оттуда. Поскольку s3 s3-dist-cp недоступен, и он не работает.

Работа Вокруг Первый вариант

расслоение банку и использовать следующие команды

hadoop jar s3-dist-cp.jar --src location --dest location 

ВТОРОГО

Загрузочный ремень s3-распред-cp.jars на кластер

Вы можете запустить его как java-программу