Уличные этапы mapreduce

Question

Я новичок в Hive. У меня мало сомнений.

1. Я хочу знать, как Hive преобразует запросы в MapReduce?

2. Я рассмотрел команду объяснения, которая дает мне сценический план и зависимостей. Я хочу узнать подробности этапов. Как определяются эти этапы ?

3. Как я могу управлять выполнением MapReduce. Предположим, я хочу изменить Сократить соединение на стороне карты.

Answer 1

На абстрактном уровне, следующие вещи происходят при выполнении запроса в улье

1. Запрос анализируется и абстрактное синтаксическое дерево создается
2. AST затем преобразуется в к DAG задач MapReduce
3. Затем для каждой задачи MapReduce создается Runnable.
4. Задачи MapReduce будут затем сериализовать в XML-файл (хранится в /tmp/hive-${user.name}/)
5. Исполнение двигателя будет десериализации этот XML-файл и выполнить задачи,

I надеюсь, что это ответит на ваши вопросы 1 и 2. Вы можете узнать больше от here

На вопрос 3 я считаю, что улей автоматически сделает соединение с картами, если это возможно. Проверка HIVE-3784
Перед тем, как вы должны дать подсказку в запросе на улей, чтобы сделать соединение mapside. Смотрите эту link

Чтобы узнать больше о том, как присоединяется работать в улье посмотреть link