Использует ли Tensorflow потоки Cuda автоматически для одновременного выполнения графика вычислений на одном графическом процессоре или потоки должны назначаться вручную для ops/tensors?Как Tensorflow поддерживает потоки Cuda?
На данный момент TensorFlow использует только один поток вычислений и несколько потоков копий. Некоторые ядра могут использовать несколько потоков для вычисления, сохраняя однопотоковую семантику.
Наш эксперимент показал, что включение мультипотока автоматически не приносит большого прироста производительности, так как большинство наших ядер достаточно велики, чтобы использовать все процессоры в графическом процессоре. Но включение multi-stream отключит наш текущий проект, чтобы агрессивно перерабатывать память GPU.
Это решение, которое мы можем пересмотреть в будущем. Если это произойдет, скорее всего TensorFlow автоматически назначит операциям/ядрам разные потоки Cuda, не подвергая их пользователям.