hadoop распределяет перегородки на редуктор

Question

Для причин балансировки нагрузки я хочу создать больше разделов, чем редукторы в среде Hadoop. Есть ли способ назначить разделы конкретным редукторам, и если да, где я могу их определить. Я написал отдельного Partitioner и хочу теперь обратиться к конкретному редуктору с конкретными разделами.

Заранее благодарю за помощь!

Answer 1

Hadoop не поддается такому контролю.

как описано на стр. 43-44 из this отличная книга. Программист имеет небольшой контроль над:

1. Где работает преобразователь или редуктор (т. Е. На каком узле в кластере).
2. Когда карбюратор или редуктор начинает или заканчивается.
3. Какие пары ключ-значение ввода обрабатываются определенным устройством сопоставления.
4. Какие промежуточные пары ключ-значение обрабатываются конкретным редуктором. (то, что вы хотели бы)

НО

Вы можете изменить номер 4, реализовав умно разработан пользовательский Partitioner, который разделяет ваши данные так, как вы хотите его так, что он и распространяет свой груз через восстановителей, как ожидается. Посмотрите, как они реализуют пользовательский разделитель для вычисления относительных частот в главе 3.3.

Answer 2

Дозирование выполняется для редукторов. Поскольку количество разделов создается как количество выбранных редукторов. Вы можете выбрать количество редукторов на

job.setNumReduceTasks(n); 

Число n не должно ограничиваться физическим номером редуктора, который у вас есть. Будет только некоторое ожидание, чтобы получить следующий слот сокращения. В коде вашего разделителя вы можете реализовать логику, необходимую для назначения ключа определенному разделу.

Однако я не вижу достижения эффективности, выходя за пределы количества физически доступных слотов редуктора, так как это приведет только к ожиданию следующего слота сокращения.