Доля ресурсов между картой/уменьшением

Question

Выполняет ли выполнение задачи на карте задачи сокращения? Замедление: я имею в виду, что они имеют общий ресурс?

Answer 1

Конечно, они будут оказывать влияние на систему так или иначе. Они оба являются java-процессами, запущенными на одних и тех же машинах. Однако в конфигурациях системы в наши дни это не так уж важно, если вы не делаете что-то глупое с количеством слотов.

Каждая задача задачи или задачи сокращения не является многопоточным или многопроцессорным процессом, поэтому в основном используется только одно ядро ​​ЦП. Вот почему общее эмпирическое правило - 1 карта или сокращение слота на ядро, имеет немного смысла. Итак, если у вас есть 12 ядер, вы можете сделать что-то вроде 8 слотов для карт и 4 слотов.

Кроме того, задачи будут заключаться в совместном использовании одного и того же диска, но это не так уж и важно, поскольку системы имеют несколько дисков, а доступ к диску - в пакетах.

Лучший способ определить оптимальную конфигурацию - попробуйте попробовать различные конфигурации. Нетрудно установить количество слотов, поэтому просто настройте его, а затем повторите некоторые рабочие задания.

Обратите внимание, что если вы выполняете только одно задание за раз, редукторы не будут делать много, пока работают картографы. В этом случае они не будут влиять друг на друга. Более реалистично, у вас будет несколько заданий, и задачи карты одной работы будут выполняться одновременно с редукторами другой работы.