примеры hadoop не работают на amazon ec2

Я использую hadoop-1.0.4 на amazon ec2 из 3 ubuntu 12.10 экземпляров, 1 мастер и 2 подчиненных, только под ~. Теперь start-all.sh и stop-all.sh в порядке, но когда я запускаю jps на master или slaves, он ничего не печатает. Затем я тестировал примеры Hadoop:примеры hadoop не работают на amazon ec2

~/hadoop$ bin/hadoop jar hadoop-examples-1.0.4.jar pi 10 10000

Это показывает

Exception in thread "main" java.io.IOException: Permission denied 
    at java.io.UnixFileSystem.createFileExclusively(Native Method) 
    at java.io.File.createTempFile(File.java:1879) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:115)

Однако я CHMOD 777 -R TMP для TMP папки.

~/hadoop$ sudo bin/hadoop jar hadoop-examples-1.0.4.jar pi 10 10000

С Судо, он производит

13/05/12 03:58:11 WARN conf.Configuration: DEPRECATED: hadoop-site.xml 
    found in the classpath. Usage of hadoop-site.xml is deprecated. 
    Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to 
    override properties of core-default.xml, mapred-default.xml 
    and hdfs-default.xml respectively 
    Number of Maps = 10 
    Samples per Map = 10000 
    13/05/12 03:58:12 WARN fs.FileSystem: "54.235.101.85:50001" is a deprecated 
    filesystem name. Use "hdfs://54.235.101.85:50001/" instead. 
    13/05/12 03:58:13 INFO ipc.Client: Retrying connect to server: 
    hdmaster/54.235.101.85:50001. Already tried 0 time(s). 
    13/05/12 03:58:14 INFO ipc.Client: Retrying connect to server: 
    hdmaster/54.235.101.85:50001. Already tried 1 time(s). 
    13/05/12 03:58:15 INFO ipc.Client: Retrying connect to server: 
    hdmaster/54.235.101.85:50001. Already tried 2 time(s).

Тогда не удалось подключиться. Так в чем проблема? Должен ли я использовать sudo для запуска примеров? Большое спасибо.

источник

2013-05-12 user1261718

является 54.235.101.85 доступным? –

@JtheRocker Теперь sudo больше не нужен, я исправил некоторые номера номеров с ошибками, проблема по-прежнему java.net.BindException: проблема с привязкой к hdmaster/54.235.101.85: 50000: не может назначить запрошенный адрес. Я просто удалял файлы в/tmp из master, и jps и secondarynamenode отвечали на jps, но не наменода и datanode. – user1261718

Вы пытались отключить брандмауэр? –

Я думаю, проблема в том, что 54.235.101.85 является публичным IP-адресом. Используйте ifconfig во всех узлах, чтобы получить список IP-адресов и проверить IP, начиная с 10.x.x.x/172.x.x.x/192.x.x.x. Если вы найдете что-либо, измените свои файлы конфигурации во всех узлах соответственно.

источник

2013-05-13 18:24:37

Отлично! Большое спасибо! – user1261718

примеры hadoop не работают на amazon ec2

ответ

Смежные вопросы