Ошибка при запуске hadoop Job Tracker

Я попытался запустить простую программу в hadoop с помощью Windows-Cygwin.Ошибка при запуске hadoop Job Tracker

Я могу запустить namenode.

JobTracker начать однако терпит неудачу с исключением:

FATAL mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: local 
     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:162) 
     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:128) 
     at org.apache.hadoop.mapred.JobTracker.getAddress(JobTracker.java:2560) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2200) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2192) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2186) 
     at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300) 
     at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:291) 
     at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:4978)

Я перепробовал все возможные методы, чтобы решить эту проблему, но безуспешно. Любые указатели очень помогут мне.

HDFS-site.xml конфигурации:

<configuration><br> 
    <property> 
    <name>fs.default.name< /name> 
    <value>hdfs://localhost:9100</value> 
    </property> 
    <property> 
    <name>mapred.job.tracker< /name> 
    <value>localhost:9101< /value> 
    </property> 
    <property> 
    <name>dfs.replication< /name> 
    <value>1</value> 
    </property> 
</configuration>

источник

2012-04-08 stackuser

Проблема заключается в том, что следующие строки должны на в mapred-site.xml и НЕ HDFS-site.xml,

<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9101</value> 
</property>

Кстати, почему вы пытаетесь запустить Hadoop в Windows? Для развития? У вас нет Linux-машины или вы не хотите ее устанавливать? более

Одна вещи, вы обычно ставите это свойство в ядре-site.xml не HDFS-site.xml,

<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9100</value> 
</property>

источник

2012-04-08 05:06:13

Почему неразумно хотите запустить Hadoop на Windows, кроме при этом один бежит против постоянного зашоренная зрения сообщества Hadoop о мире, что наводит на мысль есть только одна приемлемая операционная система? –

Обычно люди Hadoop думают, что Windows-компьютер является видеоиграми для детей. Ничего серьезного. Я думаю, что когда они устают от работы, они используют вещи обоев для окон. –

Поскольку во время запуска Hadoop в Windows код был полностью разработан в среде Linux, и, как таковой, запуск в Windows приведет к появлению переменных, которые не ожидаются, и приведет к дальнейшим осложнениям чего-то, что уже очень сложно. Hadoop выполняет множество операций с файлами, и хотя Java может работать в Windows, не все собственные операции работают совершенно одинаково, особенно операции с файловой системой. То, что он работает на окнах, - это нечто чудо. Вопрос в том, почему вы хотите запустить его в Windows, поэтому вы хотите, чтобы страдание неизвестных. – AaronM

я столкнулась с теми же проблемами при работе над «Псевдо» Распределенными примерами, как в этом страница: http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html#PseudoDistributed

Оказалось, что hadoop просто не собирал мои файлы conf. Приведенные выше ссылки предполагают, что вы используете свою установку hadoop (например, /Usr/jane/hadoop-1.1.2). Я пытался запустить примеры в другом каталоге. Я уверен, что вы можете настроить hadoop для распознавания других каталогов «conf», но я взял легкий маршрут и только начал работать в моем каталоге hadoop.

Эта нить помогла мне понять это: https://issues.apache.org/jira/browse/HDFS-2515

источник

2013-03-12 00:07:19 fahrradler

Btw, я нашел эту страницу полезным следствием страницы настройки hadoop: http://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html На этой странице показаны практически те же примеры, но с дополнительную информацию о ожидаемом выходе. – fahrradler

Ошибка при запуске hadoop Job Tracker

ответ

Смежные вопросы