Доступ к HDFS Remotedly

Question

У меня есть Hadoop сервер работает на определенном сервере, скажем, на IP 192.168.11.7 и иметь ядро-site.xml следующим образом:

<configuration> 
<property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
</property> 

Я уже бегу мое HDFS , т.е. с командой:

sbin/start-dfs.sh 

Теперь я хочу получить доступ к HDFS с моего локального компьютера с помощью браузера. Является ли это возможным?

Я пробовал http://192.168.11.7:9000 или http://192.168.11.7:50075, но безрезультатно. то есть на этом сайте, не может быть достигнуто

Большое спасибо

Отредактировано:

Это содержание моего HDFS-site.xml:

<configuration> 
<property> 
     <name>dfs.replication</name> 
     <value>1</value> 
    </property> 
<property> 
    <name>dfs.webhdfs.enabled</name> 
    <value>true</value> 
</property> 
<property> 
    <name>dfs.namenode.http-address</name> 
    <value>0.0.0.0:50070</value> 
</property> 

и мой основной сайт.xml:

<configuration> 
<property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
</property> 

<property> 
     <name>dfs.datanode.http.address</name> 
     <value>0.0.0.0:50075</value> 
</property> 

, но когда я к нему доступ с локального компьютера лы: http://192.168.11.7:50075, до сих пор не помогло Есть ли что-то не так?

Спасибо

Answer 1

(Вопрос отредактированы сейчас)

Попробуйте получить доступ к 50070 порту, который является значением по умолчанию для dfs.http.address. Здесь вы можете получить доступ к веб-интерфейсу namenode. Это должно сработать. Если это так, вы можете добавить /explorer.html#/ к URL-адресу до (т. Е. http://192.168.11.7:50070/explorer.html#), и вы сможете просматривать файловую систему оттуда.

Обратитесь к этому SO Answer, чтобы узнать значения по умолчанию для различных портов различных свойств.

Или пройдите через выход hadoop org.apache.hadoop.conf.Configuration на своем сервере, чтобы узнать, было ли изменено значение dfs.http.address, если http://192.168.11.7:50070/ не работает в вашем браузере.

Так в основном:

• Проверьте, работает ли это http://192.168.11.7:50070 работы, если он работает перейти к http://192.168.11.7:50070/explorer.html#, чтобы получить доступ к файловой системе
• Else, пройти через выход hadoop org.apache.hadoop.conf.Configuration, чтобы увидеть, если это значение dfs.http.address было изменилось. Вероятно, он будет там.

[OLD ОТВЕТ]

Что вы ищете является соединение SSH к удаленному серверу. Я считаю, что этот nice tutorial поможет вам достичь того, что вы ищете.

Маловероятно, что вы используете сервер Windows, но если вы, я считаю, this'll поможет вам.

Когда вы это сделаете, вы получаете доступ к терминалу на своем удаленном сервере.

Если вы ищете доступ к браузеру, вы можете попробовать что-то похожее на то, что указано here и here.

Answer 2

Должно быть какое-то соединение между двумя машинами. Либо настроить SSH или HttpFS

Answer 3

Обратите внимание:

<property> 
     <name>fs.defaultFS</name> 
     <value>hdfs://localhost:9000</value> 
</property> 

не для пользователей и их браузеров. Это значение считывается программами Java при необходимости доступа к HDFS. Что вы ищете этот ключ:

<property> 
     <name>dfs.datanode.http.address</name> 
     <value>0.0.0.0:50075</value> 
</property> 

Это где DataNode выставляет свой статус. Для просмотра в HDFS с помощью веб-браузера вам необходимо активировать webhdfs.

<property> 
    <name>dfs.webhdfs.enabled</name> 
    <value>true</value> 
</property> 
<property> 
    <name>dfs.namenode.http-address</name> 
    <value>0.0.0.0:50070</value> 
</property> 

в HDFS-site.xml

затем перейти к http://hostname:50070 для доступа webHDFS UI оттуда вы можете проверить все.