Hadoop version 1 vs Version 2 performance

Question

Я планирую обновить версию Hadoop версии 1 до версии Hadoop 2. Может кто-нибудь скажет мне (если вы попробовали версию 2-го варианта), есть ли улучшения производительности MR/Hive/Pig вакансии в версии 2 над версией 1?

Answer 1

Вот заметки от apache. Это основные моменты улучшений.

Вот краткий обзор улучшений как для HDFS, так и для MapReduce.

Федерация HDFS Чтобы масштабировать службу имен по горизонтали, федерация использует несколько независимых Namenodes/Namespaces. Namenodes объединяются, то есть Namenodes являются независимыми и не требуют координации друг с другом. Датаноды используются в качестве общего хранилища для блоков всеми Namenodes. Каждый datanode регистрируется со всеми Namenodes в кластере. Датаноды посылают периодические биения сердца и блокируют отчеты и обрабатывают команды из Namenodes.

Более подробная информация представлена ​​в документе Федерации HDFS.

MapReduce NextGen aka YARN aka MRv2 Новая архитектура, представленная в hadoop-0.23, делит две основные функции JobTracker: управление ресурсами и управление жизненным циклом работы на отдельные компоненты.

Новый ResourceManager управляет глобальным назначением вычислительных ресурсов приложениям, а каждое приложение ApplicationMaster управляет планированием и координацией приложения.

Приложение представляет собой либо одно задание в смысле классических заданий MapReduce, либо DAG таких заданий.

Демон ResourceManager и для каждого компьютера, который управляет пользовательскими процессами на этом компьютере, формирует вычислительную структуру.

Приложение ApplicationMaster для приложений является, по сути, библиотекой, специфичной для структуры, и ей поручено согласовывать ресурсы с ResourceManager и работать с NodeManager (-ами) для выполнения и мониторинга задач.