hadoop пример задания с ошибкой в ​​сети

Question

Я запускаю тестовый кластер из трех узлов (одна настоящая система, две виртуальные машины). Все три ubuntu 10.1 или выше. Hadoop версия 1.0.2 и улей 0.8.1

Теперь основные вещи работают нормально, узлы могут разговаривать друг с другом, пакеты реплицируются и все такое. процессы работают нормально.

В качестве тестового примера я попытался запустить стандартный пример подсчета слов в формате suoop. Это карта/уменьшить работу терпит неудачу говоря -

Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception: 
java.net.ConnectException: Connection refused 

Хотя работа продолжается, иногда просто зависает, другие времена, он повторяет это сообщение (и StackTrace конечно) несколько раз, прежде чем удается. Удивительно, что выход не выводится ни на экран, ни в выходной каталог.

Вот команда, которую я бегу -

hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output 

Hadoop находится в пути, то баночка файлы доступны в текущем каталоге, и 3 текстовые файлы были скопированы в HDFS директории/text_data

погуглить также не находит что-то полезное .. ищет помощь здесь ...

Редактировать: Я забыл добавить, что другие задания (например, вызванные запросами на улей) работают нормально. SSH настроен по трем узлам, и все ребра были протестированы на подключение без запроса пароля.

Answer 1

Кажется, проблема связана с NameNode. Ваше имя узловое?

Я попытаюсь ниже, чтобы идентифицировать проблему:

1) Попробуйте JPS на главном узле, чтобы увидеть имя узла запущен демон 2) Проверьте журналы имя узла Hadoop/журналы/ 3) проверить/и т.д./hosts/configuration и master files