Hadoop MR2 Статистика работы

Question

У меня есть версия Hadoop 2.6.0, установленная на моей машине.

hduser@vagrant:/usr/local/hadoop$ hadoop version 
Hadoop 2.6.0 

Кроме того, я начал кластер Hadoop с помощью Баш SBIN/start-dfs.sh и увидеть DataNode, NameNode и secondarynode работает.

hduser@vagrant:/usr/local/hadoop$ jps 
2627 DataNode 
2503 NameNode 
3634 Jps 
2825 SecondaryNameNode 

Я также могу представить работу и увидеть результаты без каких-либо проблем.

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5 

Вопрос: - 1. Я не вижу (nodemanager и ResourceManager) ПРЯЖА не работает, но до сих пор задания будут завершены. Где выполнялась работа MR и где я могу видеть статус задания и количество заданий?

Вот мои результаты: Netstat -

hduser @ бродяга:/USR/местные/Hadoop $ NetStat -tulpn | Grep ява (Не все процессы могут быть идентифицированы, не принадлежащие информация процесс не будет показано, вы должны быть суперпользователем, чтобы увидеть все это)

tcp  0  0 0.0.0.0:50070   0.0.0.0:*    LISTEN  2503/java  
tcp  0  0 0.0.0.0:50010   0.0.0.0:*    LISTEN  2627/java  
tcp  0  0 0.0.0.0:50075   0.0.0.0:*    LISTEN  2627/java  
tcp  0  0 0.0.0.0:50020   0.0.0.0:*    LISTEN  2627/java  
tcp  0  0 127.0.0.1:54310   0.0.0.0:*    LISTEN  2503/java  
tcp  0  0 0.0.0.0:50090   0.0.0.0:*    LISTEN  2825/java  

Answer 1

вы все еще должны настроить и запустить пряжу услуг (start-yarn.sh скрипт) и настроить работу MapReduce, чтобы использовать его:.

etc/hadoop/mapred-site.xml 
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property> 

В настоящее время ваша работа запускается в «локальном» режиме (работа выполняется внутри JVM, которую вы запускали с помощью «банда хаоса»), а не в режиме «пряжи». Он работает для отладки, но поскольку задействован только один JVM, вы не выполняете параллельные/распределенные вычисления в «локальном» режиме.