Threads syncronization in CUDA

Question

У меня есть 3D-сетка трехмерных блоков, и внутри каждого блока мне нужно последовательно вычислять по слоям «z» блока. Другими словами, я хочу выполнить сначала все (x, y, 0) потоки, затем все (x, y, 1) и т. Д. Мне нужно выполнить мои потоки по слоям (подсчет слоев по оси z). Я знаю о функции __syncthreads(), но я не знаю, как синхронизировать потоки с ней так, как я хочу.

UPD:

__global__ void Kernel(//some params) 
{ 


     //some code 
     __syncthreads(); 
} 

Это позволит синхронизировать все нити в блоке. Но мне нужно выполнить все потоки, где z = 0, затем все нити, где z = 1 и т. Д.

Answer 1

Вы можете использовать простой цикл и указать потоки, которые хотите выполнять на каждой итерации. Что-то вроде:

for (int z = 0; z < zmax; z++) { 
    if (threadIdx.z == z) { 
     //do whatever with x and y 
    } 
    __syncthreads(); 
} 

В каждой итерации, нити с определенным Z-индекс выполнения инструкций, а остальные простаивают; в конце каждой итерации все потоки синхронизируются.

Answer 2

__syncthreads() блокирует потоки внутри блока. Если вы настаиваете на использовании __syncthreads(), вам необходимо убедиться, что размер блока совпадает с размером (x * y), что необязательно возможно, и даже тогда порядок блоков не гарантируется. Альтернативным способом достижения вашей цели было бы запустить ядро ​​на каждый уровень и синхронизировать между ядрами (т. Е. Блокировать параллелизм ядра). Это, конечно, действительно зависит от того, что делает ваше точное ядро, и если разбить его так, то это возможно.