Размер сетки и блока в (ру) CUDA

Question

У меня вопрос о размерах блоков и сеток в (py) CUDA. Я знаю, что существуют ограничения в общем размере блоков, но не в сетках

И что фактический размер блока влияет на время выполнения. Но мне интересно: имеет ли значение, если у меня есть блок из 256 потоков, чтобы начать его как (256,1) или запустить его как (128,2), например (64,4) и т. Д. .

Если это имеет значение: что является самым быстрым?

Answer 1

Да, это имеет значение.

(256,1) создает (1D) блок 256 потоков в Х-измерении, все из которых имеют у-индекс 0.

(128,2) создает (2D) блок из 128x2 потоков, т.е. 128 в x-размерности и 2 в y-размерности. Эти потоки будут иметь индекс x в диапазоне от 0 до 127 и индекс y от 0 до 1

Структура кода ядра должна понимать индексирование/нумерацию потоков.

Например, если ваш код ядра начинается что-то вроде:

int idx=threadIdx.x+blockDim.x*blockIdx.x; 

и не создает какой-либо другие переменный индекс, это, вероятно, предполагая 1D threadblock и 1D сетку.

Если, с другой стороны, ваш код ядра начинается что-то вроде:

int idx = threadIdx.x+blockDim.x*blockIdx.x; 
int idy = threadIdx.y+blockDim.y*blockIdx.y; 

Это, вероятно, ожидает 2D сетки и 2D threadblocks.

В общем случае эти два подхода не являются взаимозаменяемыми, что означает, что вы не можете запустить ядро, которое ожидает 1D-сетку с 2D-сеткой и ожидает, что все будет работать нормально, и наоборот.