Где находится файл конфигурации для HDFS в Hadoop 2.2.0?

Я изучаю Hadoop, и в настоящее время я пытаюсь создать единый узел Hadoop 2.2.0. Я загрузил последнюю версию, несжатый, теперь я пытаюсь настроить распределенную файловую систему Hadoop (HDFS).Где находится файл конфигурации для HDFS в Hadoop 2.2.0?

Теперь я стараюсь следовать инструкциям Hadoop here, но я совершенно потерян.

В левой панели вы видите есть ссылки на следующие файлы:

ядро-default.xml
HDFS-default.xml
mapred-default.xml
yarn- default.xml

Но как эти файлы?

Я нашел /etc/hadoop/hdfs-site.xml, но он пуст!

Я нашел /share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml, но это всего лишь часть документа!

Итак, какие файлы мне нужно изменить для настройки HDFS? Где считываются значения отказов?

Заранее за вашу помощь.

источник

2014-01-26 danidemi

Эти файлы находятся в каталоге hadoop/conf.

Для настройки HDFS вам необходимо настроить core-site.xml и hdfs-site.xml.

HDFS работает в двух режимах: распределен (многоузловой кластер) и псевдораспределен (кластер одной отдельной машины).

Для режима псевдо-распределенных необходимо настроить:

В колонкового site.xml:

<!-- namenode --> 
<property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost:8020</value> 
</property>

В HDFS-site.xml:

<-- storage directories for HDFS - the hadoop.tmp.dir property, whose default is /tmp/hadoop-${user.name} --> 
<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/your-dir/</value> 
</property>

Каждое свойство имеет его жестко настроенное значение по умолчанию.

Перед запуском HDFS не забудьте указать пароль без пароля для пользователя hadoop.

P.S.

It скачать Hadoop от Apache, вы можете рассмотреть вопрос о переходе к распределению Hadoop:

Cloudera's CDH, Hortonworks или MapR.

Если вы установили Cloudera CDH или Hortonworks HDP, вы найдете файлы в/etc/hadoop/conf /.

источник

2014-01-27 20:09:52

Спасибо, указав меня на CDH Cloudera. В настоящее время я намерен понять, как работать с Hadoop с нуля, если вы знаете, что я имею в виду, просто чтобы понять, по крайней мере, все части. Я согласен, что распределение, подобное тому, на которое вы указали, может быть более быстрым решением. – danidemi

В этом случае я рекомендую прочитать «Руководство Hadoop Definitive Guide 2012» от Oreilly. –

Все файлы конфигурации будут расположены в извлеченном файле tar.gz в каталоге etc/hadoop /. Hdfs-site.xml может быть hdfs-site.xml.template. Вам нужно будет переименовать его в hdfs-site.xml.

Если вы хотите увидеть, какие варианты для HDFS проверить документ в тарболе в долевом/DOC/Hadoop/Hadoop-проект-Dist/Hadoop-HDFS/HDFS-DEFAULT.XML

источник

2014-01-27 02:56:33

Для Установка Hadoop 2.2. 0 Вы следуете за this link. Это для «0.23.9», но он отлично работает для «2.2.0»

источник

2014-01-27 08:28:32

Спасибо за обмен ссылки, это действительно очень хороший учебник сделан. – danidemi

Эти файлы можно увидеть здесь /usr/lib/hadoop-2.2.0/etc/hadoop, в этом месте вы можете найти все XML-файлы.

источник

2015-12-23 17:00:15 Batty

Для Hortonworks места будет

/etc/hadoop/conf/hdfs-site.xml

источник

2016-12-06 19:19:35

Где находится файл конфигурации для HDFS в Hadoop 2.2.0?

ответ

Смежные вопросы