Спарк Скрипт для установки Hadoop EC2: IPC соединения клиента отказалось

Question

Я пытался использовать distcp копировать между Hadoop и Amazon S3 на установке EC2 кластера с помощью искровых сценариев для EC2

[root]# bin/hadoop distcp s3n://bucket/f1 hdfs:///user/root/ 

Ошибки у меня была

INFO ipc.Client: Retrying connect to server: .. Already tried n time(s). 

Copy failed: java.net.ConnectException: Call to ..my_server failed on connection excep\ 
tion: java.net.ConnectException: Connection refused 

Answer 1

Спарк EC2 скрипты, возможно, намеренно, не начинайте JobTracker и TaskTracker услуги. Таким образом, после запуска сценариев установки Спарк EC2, чтобы запустить службы, я побежал

{HADOOP_HOME}/bin/start-all.sh 

Ссылка: Спасибо Брок Нолан на https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/H6wAfdeLIJo