Каков алгоритм для определения оптимального размера работы группы и числа рабочих групп

Question

стандарта

OpenCL определяет следующие параметры, чтобы получить информацию об устройстве и скомпилированные ядро:

• CL_DEVICE_MAX_COMPUTE_UNITS

• CL_DEVICE_MAX_WORK_GROUP_SIZE

• CL_KERNEL_WORK_GROUP_SIZE

• CL_KERNEL_PREFERRED_W ORK_GROUP_SIZE_MULTIPLE

Учитывая эти значения, как я могу рассчитать оптимальный размер рабочей группы и числа рабочих групп?

Answer 1

Экспериментально вы обнаружите эти значения для своего алгоритма. Используйте профилировщик для получения жестких чисел.

Мне нравится использовать CL_DEVICE_MAX_COMPUTE_UNITS как количество рабочих групп, потому что я часто полагаюсь на синхронизацию рабочих элементов. Я обычно запускаю ядра с небольшим разветвлением, поэтому в одно вычислительное устройство нужно выполнить одно и то же время.

Несколько кратных CL_KERNEL_PREFERRED_WORK_GROUP_SIZE_MULTIPLE будут оптимальными для вашего устройства. То, что на самом деле такое множество, зависит от вашего шаблона доступа к памяти и типа работы, которую вы выполняете с каждым рабочим элементом. Используйте 1 как многократное, когда вы используете тяжелое ядро ​​с вычислением (ALU). Попробуйте увеличить число, чтобы скрыть задержку памяти, если у вас есть узкое место в доступе к памяти. Используйте профилировщик, чтобы определить, когда оптимальное время доступа и время ALU.

Оптимальное соотношение для ALU для извлечения составляет 1: 1 для любого устройства. Это редко достигается на практике, поэтому вы хотите, чтобы банки ALU/SIMD были насыщенными. Это означает, что ALU: выборка должна быть больше 1, когда это возможно. Менее 1 означает, что вы должны попытаться увеличить размер рабочей группы, чтобы лучше скрывать латентность памяти.