2015-07-01 3 views
0

В Hadoop количество карт определяется количеством входных расщеплений. Как насчет количества сокращений? Если есть метод, который мы можем интуитивно определить для сокращения? Я делаю сокращение карты в Pig.Определение количества сокращений в Hadoop

ответ

1

Идеальные редукторы должны быть оптимальное значение, которое получает их ближе всего к:

кратен размеру блока некоторое время задача от 5 до 15 минут Создает наименьшее количество файлов можно Ссылка: http://wiki.apache.org/hadoop/HowManyMapsAndReduces

0

С точки зрения данных количество редукторов равно количеству уникальных ключей на выходе карты.

Смежные вопросы