Hadoop HA Namenode удаленный доступ

Question

Im конфигурирование Hadoop 2.2.0 стабильная версия с HA namenode, но я не знаю, как настроить удаленный доступ к кластеру.

У меня есть HA namenode, настроенный с ручным отказоустойчивостью, и я определил dfs.nameservices, и я могу получить доступ к hdfs с помощью nameservice из всех узлов, входящих в кластер, но не извне.

Я могу выполнять операции над hdfs путем непосредственного контакта с активным namenode, но я этого не хочу, я хочу связаться с кластером, а затем перенаправить на активный namenode. Я думаю, что это нормальная конфигурация кластера HA.

Кто-нибудь теперь, как это сделать?

(заранее спасибо ...)

Answer 1

Вам необходимо обратиться в один из узлов имени (как вы сейчас делаете) - нет узла кластера связаться.

Код клиента hadoop знает адрес двух namenodes (в файле core-site.xml) и может быть идентификатором, который является активным и который является резервным. Возможно, есть способ, с помощью которого вы можете допросить узлом zookeeper в кворуме, чтобы определить активный/резервный (возможно, я не уверен), но вы можете также проверить один из наменоходов - у вас есть шанс 50/50, это активный.

Мне нужно будет проверить, но вы можете запросить либо, если вы просто читаете HDFS.

Answer 2

для узла Active Name вы всегда можете запросить Zookeeper. вы можете получить активный узел имен из ниже пути Zk.

/hadoop-ha/namenodelogicalname/ActiveStandbyElectorLock 

Answer 3

Вы должны добавить больше значения на сайт HDFS:

<property> 
    <name>dfs.ha.namenodes.myns</name> 
    <value>machine-98,machine-99</value> 
</property> 

<property> 
    <name>dfs.namenode.rpc-address.myns.machine-98</name> 
    <value>machine-98:8100</value> 
</property> 

<property> 
    <name>dfs.namenode.rpc-address.myns.machine-99</name> 
    <value>machine-145:8100</value> 
</property> 

<property> 
    <name>dfs.namenode.http-address.myns.machine-98</name> 
    <value>machine-98:50070</value> 
</property> 

<property> 
    <name>dfs.namenode.http-address.myns.machine-99</name> 
    <value>machine-145:50070</value> 
</property> 

Answer 4

Есть два способа решения этой ситуации (код с Явы)

1. использование основной сайт. xml и hdfs-site.xml в вашем коде

   load conf via addResource

2. использование conf.set в коде

   set hadoop conf via conf.set

   an example use conf.set