Почему несколько заданий MapReduce для одной работы свиньи/улья?

Question

Я использую Свинья для запуска моей работы с адоодом. Когда я запускаю скрипт свиньи, а затем перехожу к пользовательскому интерфейсу диспетчера ресурсов YARN, я мог видеть, что несколько заданий MapReduce создаются для одного и того же задания Pig? Я считаю, что это будет то же самое для рабочих мест в Hive.

Может кто-нибудь, пожалуйста, дайте мне знать причины этого? На какой основе можно было бы разделить одну работу свиньи на несколько заданий на создание карт? Одним из них является TempletonControllerJob.

Благодаря

Answer 1

Templeton Controller Работа похожа на работу Родитель, который будет вызывать еще одного ребенка с картой сократить работу. Это в основном контроль исполнения.

Перед выполнением, Pig в основном предлагает план выполнения - где он сканирует все шаги в скрипте свиньи и объединяет шаги, которые могут выполняться в одном задании. Когда в скрипте свиньи есть два шага, которые невозможно вычислить в одном задании, он разбивает его на два. После того, как он выполнил это объединение и вычислил количество заданий и шагов в каждом задании, чтобы придумать конечный результат, он начинает выполнение.