Hadoop: Подключение к ResourceManager не удалось

Question

После установки Hadoop 2.2 и пытается запустить трубы пример IVE получил ошибку folowing (та же ошибка появляется при попытке запуска hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount someFile.txt /out):

/usr/local/hadoop$ hadoop pipes -Dhadoop.pipes.java.recordreader=true -Dhadoop.pipes.java.recordwriter=true -input someFile.txt -output /out -program bin/wordcount 
DEPRECATED: Use of this script to execute mapred command is deprecated. 
Instead use the mapred command for it. 

13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
13/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
13/12/14 20:12:08 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
13/12/14 20:12:09 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
13/12/14 20:12:10 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
13/12/14 20:12:11 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
13/12/14 20:12:12 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
13/12/14 20:12:13 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 
13/12/14 20:12:14 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

Моя пряжа site.xml :

<configuration> 
<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 
<!-- Site specific YARN configuration properties --> 
</configuration> 

ядро-site.xml:

<configuration> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9000</value> 
</property> 
</configuration> 

mapred-site.xml :

<configuration> 
<property> 
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property> 
</configuration> 

HDFS-site.xml:

<configuration> 
<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
</property> 
<property> 
    <name>dfs.namenode.name.dir</name> 
    <value>file:/home/hduser/mydata/hdfs/namenode</value> 
</property> 
<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>file:/home/hduser/mydata/hdfs/datanode</value> 
</property> 
</configuration> 

Ive понял, что мой IPv6 отключен, как это должно быть. Возможно, мои/etc/hosts неверны?

/и т.д./хосты:

fe00::0   ip6-localnet 
ff00::0   ip6-mcastprefix 
ff02::1   ip6-allnodes 
ff02::2   ip6-allrouters 

127.0.0.1 localhost.localdomain localhost hduser 
# Auto-generated hostname. Please do not remove this comment. 
79.98.30.76 356114.s.dedikuoti.lt 356114 
::1    localhost ip6-localhost ip6-loopback 

Answer 1

Проблема подключения менеджер recource потому, что ив нужно добавить несколько свойств пряжи site.xml:

<property> 
<name>yarn.resourcemanager.address</name> 
<value>127.0.0.1:8032</value> 
</property> 
<property> 
<name>yarn.resourcemanager.scheduler.address</name> 
<value>127.0.0.1:8030</value> 
</property> 
<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>127.0.0.1:8031</value> 
</property> 

Тем не менее, мои Работа Арент подножка но соединение успешно завершено

Answer 2

Убедитесь, что вы начали пряжу. Используйте эту команду, чтобы запустить его:

start-yarn.sh

Затем используйте эту команду, чтобы убедиться, что менеджер ресурсов работает:

JPS

Результат должен выглядеть примерно так:

17542 NameNode

17920 SecondaryNameNode

22064 Jps

17703 DataNode

18226 ResourceManager

18363 NodeManager

Answer 3

Использование ниже ниже настройки в /etc/hosts, добавить имя хоста вместо your_host_name:

127.0.0.1 localhost 
127.0.0.1 your_host_name 

Answer 4

Надлежащим образом можно добавить следующие строки в пряжи сайте.XML:

<property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>127.0.0.1</value> 
</property> 

Поскольку значение поля хост представляет собой единое имя хоста, который может быть установлен в месте установки все yarn.resourcemanager * адреса ресурсов. Результаты в портах по умолчанию для компонентов ResourceManager.

• Параметр: yarn.resourcemanager.hostname
• Значение: ResourceManager хозяин.
• Примечания: host Единое имя хоста, которое может быть установлено вместо настройки всех ресурсов ресурса пряжи.resourcemanager *. Результаты в портах по умолчанию для компонентов ResourceManager.

Answer 5

Configuration conf = HBaseConfiguration.create(); 
conf.set("yarn.resourcemanager.address", "127.0.0.1:8032"); 

В конф вы можете установить yarn.resourcemanager.address

Answer 6

я столкнулась с той же проблемой. Я решил это.

Как есть проблема, связанная с ResourceManager, поэтому убедитесь, что пряжа работает или нет. Пряжа разделяется на разные сущности. Один из них - ResourceManager, который отвечает за выделение ресурсов для различных приложений, работающих в кластере.

Выполните следующие шаги.

1. Начало пряжи с помощью команды: start-yarn.sh
2. Проверка ресурсов кивок диспетчера с помощью команды: JPS
3. Добавьте следующий код конфигурации

<property> 
    <name>yarn.resourcemanager.address</name> 
    <value>127.0.0.1:8032</value> 
</property> 

Answer 7

Этот вопрос может быть связано с отсутствием HADOOP_CONF_DIR, который необходим приложением MapReduce для подключения к диспетчеру ресурсов, который упоминается в файле yarn-site.xml. Таким образом, перед запуском задания MapReduce попытайтесь установить/экспортировать HADOOP_CONF_DIR вручную с помощью соответствующей папки Hadoop Conf, например экспорта HADOOP_CONF_DIR =/etc/hadoop/conf. Таким образом, работал для меня :)

Answer 8

я решил такую ​​же проблему, изменив значение 127.0.0.1:* в yarn-site.xml

<property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
    <name>yarn.resourcemanager.address</name> 
    <value>127.0.0.1:8032</value> 
    </property> 
     <property> 
    <name>yarn.resourcemanager.scheduler.address</name> 
    <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
    <name>yarn.resourcemanager.resource-tracker.address</name> 
    <value>127.0.0.1:8031</value> 
    </property>