MapReduce job without mapper

Question

Это может быть очень простой вопрос, но может быть полезен многим новичкам, таким как я.

Может ли быть работа с MR без картографа? Любой сценарий, где нам нужно реализовать это и способ сделать это?

Answer 1

Я видел работу MR без Mapper, только уменьшаю часть. Ваше требование особенное.

На мой взгляд, я думаю, что это не имеет смысла в работе MR без картографа.

Answer 2

IdentityMapper - это картограф, который отображает ввод непосредственно на выход.

Предположим, что у вас есть входной формат ключевого значения, и вы не имеете ничего общего с этим на фазе отображения, и единственное, что вы хотели бы сделать, это группировать значения на основе на ключе и выполнить некоторую операцию агрегации на фазе редуктора на значениях, вы можете использовать этот картограф.

Answer 3

Если программа MapReduce не устанавливает класс Mapper с помощью JobConf.setMapperClass, то IdentityMapper.class используется как значение по умолчанию.

Если вы не упомянули картографа, то тогда будет один картограф running.so в любом случае, по крайней мере, один картограф будет запущен.

http://www.fromdev.com/2010/12/interview-questions-hadoop-mapreduce.html