Hadoop Connection Refused Error

Question

Я пытался установить пакет RMR (RHadoop), и мне как-то удалось испортить мою настройку hadoop. Теперь он дает сообщение об ошибке отказа, на которое я просто не могу найти решение. Любая помощь будет оценена по достоинству. Спасибо

java.net.ConnectException: Call to master/***.***.***.***:54310 failed on connection exception: java.net.ConnectException: Connection refused 
at org.apache.hadoop.ipc.Client.wrapException(Client.java:1095) 
at org.apache.hadoop.ipc.Client.call(Client.java:1071) 
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225) 
at $Proxy2.getProtocolVersion(Unknown Source) 
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396) 
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379) 
at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:119) 
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:238) 
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:203) 
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89) 
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386) 
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) 
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404) 
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254) 
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123) 
at org.apache.hadoop.mapred.Child$4.run(Child.java:254) 
at java.security.AccessController.doPrivileged(Native Method) 
at javax.security.auth.Subject.doAs(Subject.java:396) 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093) 
at org.apache.hadoop.mapred.Child.main(Child.java:249) 
Caused by: java.net.ConnectException: Connection refused 
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) 
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:574) 
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206) 
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:489) 
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:434) 
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:560) 
at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:184) 
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1202) 
at org.apache.hadoop.ipc.Client.call(Client.java:1046) 
... 18 more 

Answer 1

Когда вы видите это, это в основном означает, что вы не можете подключиться к NameNode. Он либо не работает, либо работает на другом порту. Если вы создадите резервную копию ваших рабочих файлов * -site.xml, вы можете вернуться к рабочей версии без полной переустановки, которую вы предлагаете в комментарии к своему вопросу.

Answer 2

Я боролся два дня и ночь между ними, чтобы узнать ответ на эту проблему.

В моем случае (и я уверен, что это проблема в большинстве случаев) пришлось создать временную папку hadoop вручную и добавить их в hdfs-site.xml!

<property> 
<name>dfs.data.dir</name> 
<value>/home/stefan/Downloads/hadoop-2.7.1/tmp/dfs/name/data</value> 
<final>true</final> 
</property> 
<property> 
<name>dfs.name.dir</name> 
<value>/home/stefan/Downloads/hadoop-2.7.1/tmp/dfs/name</value> 
<final>true</final> 
</property> 

Я надеюсь, что это поможет вам, ребята, не пройти через тот же ад, как я.

Кроме того

chown user_name hadoop_folder hadoop_temp_folder 
chmod 755 hadoop_folder hadoop_temp_folder