Я устанавливаю Hadoop YARN (2.5.1) на Ubuntu 13 как кластер с одним узлом. Когда я запускаю start-dfs.sh, он дает следующий результат, и процесс не запускается (я подтвердил usng команды jps и ps). Моя настройка bashrc также скопирована ниже. Любые мысли о том, что мне нужно переконфигурировать?Настройка Hadoop YARN на ubuntu (единственный узел)
Bashrc дополнение:
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_INSTALL=/opt/hadoop/hadoop-2.5.1
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
start-dfs.sh выход:
14/09/22 12:24:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /opt/hadoop/hadoop-2.5.1/logs/hadoop-hduser-namenode-zkserver1.fidelus.com.out
localhost: nice: $HADOOP_INSTALL/bin/hdfs: No such file or directory
localhost: starting datanode, logging to /opt/hadoop/hadoop-2.5.1/logs/hadoop-hduser-datanode-zkserver1.fidelus.com.out
localhost: nice: $HADOOP_INSTALL/bin/hdfs: No such file or directory
Starting secondary namenodes [0.0.0.0]
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
ECDSA key fingerprint is cf:e1:ea:86:a4:0c:cd:ec:9d:b9:bc:90:9d:2b:db:d5.
Are you sure you want to continue connecting (yes/no)? yes
0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop/hadoop-2.5.1/logs/hadoop-hduser-secondarynamenode-zkserver1.fidelus.com.out
0.0.0.0: nice: $HADOOP_INSTALL/bin/hdfs: No such file or directory
14/09/22 12:24:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
каталог бен имеет файл HDFS и его владелец hduser (я бег процесс как hduser). Настройки My $ HADOOP_INSTALL указывают на каталог hadoop (/opt/hadoop/hadoop-2.5.1). Должен ли я что-либо изменить с разрешениями, конфигурацией или просто переместить каталог из opt и, возможно, на/usr/local?
Update: Когда я бегу start-yarn.sh, я получаю следующее сообщение:
localhost: Error: Could not find or load main class org.apache.hadoop.yarn.server.nodemanager.NodeManager
Update Я переехал каталог в/USR/местные, но я получаю такое же предупреждение.
Обновление У меня есть ResourceManager, работающий по команде jps. Однако, когда я пытаюсь запустить пряжу, она терпит неудачу с приведенной выше ошибкой. Я могу получить доступ к интерфейсу диспетчера ресурсов на порту 8088. Есть идеи?
верх предупреждение: WARN util.NativeCodeLoader: Не удалось загрузить библиотеку нативной Hadoop для платформы ... с помощью классов Java-встроенный, где это применимо Запуск namenodes на [LOCALHOST] может быть из-за разницы 32/64 бит , Вы должны обратить внимание на/bin/hdfs: нет такого файла или сообщения каталога, и подлинность не может быть установлена сообщениями –