CUDA: векторы сложения и векторов размер

Question

Я измерил пропускную способность при выполнении ядра делает сложение между двумя векторами:

__global__ void add(float *a, float *b, float *c, int n) 
{ 
    int tid = blockIdx.x*blockDim.x + threadIdx.x; 

    while (tid < n) 
    { 
     c[tid] = a[tid] + b [tid]; 
     tid += blockDim.x * gridDim.x; 
    } 
} 

я во-первых, запустить ядро ​​один раз, так что он будет загружен на устройстве, а рядом , Я измеряю 10 итераций выполнения ядра.

Пропускная способность намного лучше, когда мой vectors'length является +1000000 1000.

Почему?

Спасибо.

Answer 1

Графические процессоры имеют очень высокую пропускную способность памяти (хорошо) и очень высокая латентность памяти (плохо). Требуется несколько сотен циклов, чтобы запрос на память был удовлетворен, но может быть много запросов в полете, которые конвейерны.

Если вы добавляете только 1000 элементов, то вы действительно измеряете латентность памяти.

С гораздо большими векторами будет достаточно блоков потоков, когда при остановке в памяти графический процессор может переключиться на другой блок потока, запрос на память которого выполняется. С ними вы измеряете пропускную способность.