установка Hadoop на ec2

Question

Я пытаюсь установить многоузловой кластер в EC2, следуя https://dzone.com/articles/how-set-multi-node-hadoop

Все, казалось, работали: У меня есть NameNode и DataNode и у меня есть следующие процессы, выполняющиеся:

NameNode : 1389 NameNode, 1687 JobTracker, 1590 SecondaryNameNode DataNode: 1415 TaskTracker, 1286 DataNode

Я мог бы проверить состояние NameNode от «ec2-XX-XXX-XXX-XXX.compute-1.amazonaws.com:50070/dfshealth .jsp "и проверьте статус Jobtracker:" ec2-XX-XXX-XXX-XXX.compu te-1.amazonaws.com:50030/jobtracker.jsp "

Проблемы возникли, когда я попытался проверить состояние TaskTracker в" ec2-XXX-XX-XXX-XXX-X.compute-1.amazonaws.com : 50060/tasktracker.jsp ", потому что я получил сообщение" Страница недоступна ".

Я также попытался запустить задание MapReduce:

Hadoop банку Hadoop-примеры-1.2.1.jar пи 10 +1000000

, но я получил ошибку:

«Файл/пользователя/ubuntu/PiEstimator_TMP_3_141592654/in/part0 может быть реплицирован только на 0 узлов, вместо 1 "

Может ли кто-нибудь помочь мне в этом?

Благодаря

Answer 1

Вы пробовали настройки входящего трафика в группу безопасности, чтобы принять порт 50070, 50030 и 50060?

команда hadoop ожидает задачи с использованием jar-задачи с именем «hadoop-examples-1.2.1.jar». Убедитесь, что у вас есть пример файла jar для запуска hadoop. Вы можете загрузить файл jar по адресу «http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples121jar.htm»