map-> map-> уменьшить-> уменьшить-> окончательный вывод

Question

Недавно я прочитал статью, в которой предлагается алгоритм для выработки Maximum Contiguous pattern из данных ДНК. Предлагаемый метод, который звучит довольно интересно, использовал следующую модель MapReduce. карта-> карта-> уменьшить-> уменьшить. То есть первая фаза карты выполняется, и ее выход вводится во вторую фазовую карту. Выход второй фазовой карты вводится для уменьшения первой фазы. Выход первого уменьшения фазы вводится во вторую фазу, и, наконец, результаты сбрасываются в HDFS. Хотя это похоже на интересный метод, в документе не упоминалось, как они его реализовали. Мой вопрос: как вы реализуете такую ​​привязку MapReduce?

Answer 1

Я думаю, что есть два способа, чтобы иметь дело с вашим делом:

1. интегрировать две карты код функции в одной задаче карты с двумя фазы. Уменьшите задачу, используя тот же метод, что и карта.

2. Разделите проект map-map-reduce-reduce на два задания: две карты в качестве первого задания Hadoop после преобразования второго типа задачи карты для уменьшения задачи; два сокращаются как вторая работа Hadoop после преобразования первой задачи сокращения на карту. Может быть, вы можете использовать Oozie, чтобы иметь дело с рабочим процессом Hadoop, если вы отправляете некоторые рабочие задания в зависимости от других.

Answer 2

В Hadoop, насколько я знаю, вы не можете сделать это на данный момент.

Один подход может заключаться в использовании ChainMapper, чтобы сделать карту-> карту-> уменьшить часть. Затем отправьте результат этой работы на другое задание и установите преобразователь на IdentityMapper, а редуктор - на второй фазовый редуктор, который у вас есть.

Answer 3

Пожалуйста, ознакомьтесь с информацией о TEZ. M-> M-> R-> R-> R поддерживается любая комбо