Я хочу установить минимальное количество редукторов, которые будут запущены для моей работы по свинине. Я пробовал использовать: SET default_parallel 57;Установка минимального числа редукторов для работы с породами
Но это заставляет все задания иметь 57 редукторов.
Есть ли какие-либо настройки, которые я могу установить, что заставляет Pig Job иметь минимальное количество редукторов 57 или более.
Не думаю, что это возможно.
Что вы можете сделать, это установить default_parallel на 57 и для тех операций, в которых вы хотите иметь большее количество редукторов, вы можете указать большее число, используя PARALLEL. Я понимаю, что это не совсем то, что вы хотите.
спасибо.I в конечном итоге делать это только. Я обнаружил, что Pig отправляет по 1 ГБ данных на редуктор по умолчанию. Параметр pig.exec.reducers.bytes.per.reducer управляет размером данных на редуктор. Я использовал этот параметр для установки на 125 МБ, поэтому я смог динамически корректировать количество редукторов. – Ajay
Я пробовал использовать SET mapred.reduce.tasks 57; но не помогло. – Ajay