Как вычислить последний номер детали в каталоге вывода задания MapReduce

Question

Мне интересно, есть ли способ узнать последний номер детали в каталоге вывода MapReduce? Я хочу переместить некоторые файлы в другой каталог в каталог, но я бы хотел, чтобы они отображались так, как будто они являются частью одного и того же вывода.

Answer 1

Для карты только задание - это количество входных расщеплений. Для сокращенной работы это количество редукторов. Обратите внимание, что оба значения равны нулю по отношению к выходным номерам файлов (от 0 до n-1)