Команда Hadoop distcp говорит, что не может подключиться к серверу

Question

Я хочу загрузить форму данных S3 в HDFS. Я попробовал s3cmd, но он не параллелен и, следовательно, медленным. Я пытаюсь сделать hadoop distcp работу так:

hadoop distcp -Dfs.s3n.awsAccessKeyId=[Access Key] -Dfs.s3n.awsSecretAccessKey=[Secret Key] s3n://[account-name]/[bucket]/folder /data 

, но это дает мне:

ipc.Client: Повторная попытка подключения к серверу: ec2- [IP] .compute-1.amazonaws. ком/[внутренний IP]: 9001. Уже проработано 0 раз (а)

Answer 1

distcp - это работа на основе сокращения масштаба. Убедитесь, что служба отслеживания заданий запущена. Попробуйте

hadoop/bin/start-all.sh