Сортировка в каркасе hadoop

Question

Я попытался реализовать вторичный сорт. поэтому у меня есть вопрос, связанный с этим:

Sorting happens 3 times in Hadoop framework 

1) Sorting in Buffer (Sorting occur based on key of a map function) 
2) Sorting during merging of spill files of mapper output(?????????????) 
3) Sorting at Reducer side when reducer gets map output from various mapper based on partition logic again merging happens .(Sorting occur based on Sort Comparator) 

если мое выше понимание верно, то на основе какой логики сортировки происходит во время разлива файлов сливающихся на карте выходных файлы, то оно основано на ключах, которые мы используем на карте функции или сортировки, на которой происходит сортировка боковых партий и почему?

Answer 1

Чтобы точно ответить в буфере, значения упорядочиваются на основе ключей, где, как и на редукторе, они будут сравниваться с использованием компаратора.

Так происходит вид на карте. Каждая задача карты имеет кольцевой буфер памяти, в который записывается вывод. Когда содержимое буфера достигает определенного порогового размера, фоновый поток начнет проливать содержимое на диск.

Перед записью на диск поток сначала делит данные на разделы, соответствующие редукторам, на которые они будут в конечном счете отправлены. Внутри каждого раздела фоновый поток выполняет сортировку по-разному в памяти, а если есть функция объединителя, она запускается на выходе сортировки.

Окончательный заказ на редукторе будет выполнен путем сравнения каждого ключа с другим, что является не чем иным, как компаратором.

Чтобы проверить это, я написал ReverseIntWritable, который будет заказывать в обратном порядке для IntWritable, и я написал вывод таким же образом из mapper и редуктора.

Если я не использовал редуктор, вход {(1, xyz), (2, ijk)} выдается как {(1, xyz), (2, ijk)}. Если я использовал редуктор, выход для того же входа выходил как {(2, ijk), (1, xyz)}.

Надеется, что это помогает ..