hadoop: datanode не работает?

Question

Я настроил и развернул hasoop для установки одного узла с помощью this учебника. Все развернуто отлично, но когда я делаю jps для просмотра активных процессов, datanode не отображается. Я вручную попытался запустить datanode, перейдя в $ HADOOP_HOME/bin: hadoop -datanode, но безрезультатно. В основном, чтобы подвести итог, процесс datanode вообще не работает для кластера hadoop. Кроме того, я хочу знать, может ли одна машина иметь 2 установки для установки навесного оборудования. Я использую один для процессов mapreduce и еще один для поисковой системы. Значит, их каталог отличается, так? Кроме того, за один раз я запускаю единую операцию.

EDIT 1 #: - если это помогает, вот журнал, когда я попытался запустить datanode через $ HADOOP_HOME.

root@thinktank:/usr/local/hadoop/bin# hadoop datanode Warning: $HADOOP_HOME is deprecated. 

13/08/27 16:34:57 INFO datanode.DataNode: STARTUP_MSG: /********************************** STARTUP_MSG: Starting DataNode STARTUP_MSG: host = thinktank/127.0.1.1 STARTUP_MSG: args = [] STARTUP_MSG: version = 1.2.1 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013 
STARTUP_MSG: java = 1.6.0_27 
**********************************/ 
13/08/27 16:34:57 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 
13/08/27 16:34:57 INFO impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered. 
13/08/27 16:34:57 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s). 
13/08/27 16:34:57 INFO impl.MetricsSystemImpl: DataNode metrics system started 
13/08/27 16:34:57 INFO impl.MetricsSourceAdapter: MBean for source ugi registered. 
13/08/27 16:34:57 WARN impl.MetricsSystemImpl: Source name ugi already exists! 
13/08/27 16:34:57 ERROR datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /app/hadoop/tmp/dfs/data: namenode namespaceID = 1955988395; datanode namespaceID = 1705269445 at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:147) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:414) at org.apache.hadoop.hdfs.server.datanode.DataNode.(DataNode.java:321) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1712) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1651) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1669) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812) 

13/08/27 16:34:57 INFO datanode.DataNode: SHUTDOWN_MSG: /********************************** SHUTDOWN_MSG: Shutting down DataNode at thinktank/127.0.1.1 **********************************/ 

Answer 1

Вы получаете сообщение об ошибке Incompatible namespaceIDs. Причина и решение хорошо документированы на веб-сайте, на котором вы сделали свой учебник, поэтому я не буду описывать его здесь. Read about it for yourself here.

Чтобы ответить на другой вопрос, да, у вас могут быть две отдельные установки Hadoop. Не должно вызывать никаких проблем, просто не перепутайте их!