Должны ли мы повторно использовать cublasHandle_t для разных вызовов?

Question

Я использую последнюю версию CUDA 5.5, а новый CUBLAS имеет состояние, при котором каждая функция нуждается в cublasHandle_t, например.

cublasHandle_t handle; 
    cublasCreate_v2(&handle); 
    cublasDgemm_v2(handle, A_trans, B_trans, m, n, k, &alpha, d_A, lda, d_B, ldb, &beta, d_C, ldc); 
    cublasDestroy_v2(handle); 

это хорошая практика, чтобы повторно использовать эту ручку экземпляра как можно больше, как какие-то Session или влияние на производительности будет настолько мало, что имеет смысл снизить сложность коды, имея короткоживущую ручку и, следовательно, создавать/уничтожать его непрерывно?

Answer 1

Я думаю, что это хорошая практика, по двум причинам:

1. Из Руководства пользователя cuBLAS Library «cublasCreate() [...] выделяет аппаратные ресурсы на хосте», который заставляет меня думать, что есть некоторые накладные расходы на его вызов.
2. Несколько созданий/разрушений дескриптора cuBLAS могут нарушить параллелизм с помощью ненужных контекстных синхронизаций.

Answer 2

Как утверждает CUDA Toolkit в here

Приложение должно инициализировать ручку к cuBLAS библиотеки контекста, вызвав функцию cublasCreate(). Затем контекст явно передается каждому последующему вызову функции библиотеки. Как только приложение закончит с помощью библиотеки, оно должно вызывать функцию cublasDestory() до освободить ресурсы, связанные с контекстом библиотеки cuBLAS.