nvidia-smi показывает использование графического процессора, когда он не используется

Question

Я запускаю shadoworflow на GPU id 1, используя export CUDA_VISIBLE_DEVICES=1, все в nvidia-smi выглядит хорошо, мой процесс python работает на gpu 1, памяти и потреблении энергии показывают, что GPU 1 находится в использовать.

Но странный графический процессор 0, который не используется (на основе списка процессов, памяти, потребления энергии и здравого смысла) показывает 96% -ное энергопотребление графического процессора.

Кто-нибудь знает почему?

+-----------------------------------------------------------------------------+ 
| NVIDIA-SMI 367.48     Driver Version: 367.48     | 
|-------------------------------+----------------------+----------------------+ 
| GPU Name  Persistence-M| Bus-Id  Disp.A | Volatile Uncorr. ECC | 
| Fan Temp Perf Pwr:Usage/Cap|   Memory-Usage | GPU-Util Compute M. | 
|===============================+======================+======================| 
| 0 Tesla K20c   Off | 0000:03:00.0  Off |     0 | 
| 30% 41C P0 53W/225W |  0MiB/4742MiB |  96%  Default | 
+-------------------------------+----------------------+----------------------+ 
| 1 Tesla K20c   Off | 0000:43:00.0  Off |     0 | 
| 36% 49C P0 95W/225W | 4516MiB/4742MiB |  63%  Default | 
+-------------------------------+----------------------+----------------------+ 

+-----------------------------------------------------------------------------+ 
| Processes:              GPU Memory | 
| GPU  PID Type Process name        Usage  | 
|=============================================================================| 
| 1  5193 C python          4514MiB | 
+-----------------------------------------------------------------------------+ 

Answer 1

Запустить ps aux | grep 5193, чтобы узнать, какая программа использует GPU.

В ваших GPU включен ECC, поэтому вы увидите высокую загрузку процессора или памяти.

Во время инициализации драйвера при включении ECC можно увидеть показания высокой производительности графического процессора и памяти. Это вызвано механизмом Scrubbing памяти ECC, который выполняется во время инициализации драйвера.
Когда режим сохранения сохранен, драйвер деинициализируется, когда нет клиентов (приложения CUDA или nvidia-smi или XServer), и ему необходимо снова инициализировать, прежде чем любое приложение GPU (например, nvidia-smi) сможет запросить его состояние, что приведет к сглаживанию ECC.
Как правило, всегда работает с включенным режимом сохранения. Просто запустите root nvidia-smi -pm 1. Это ускорит процесс обеда, если драйвер всегда будет загружен.

Ссылка: https://devtalk.nvidia.com/default/topic/539632/k20-with-high-utilization-but-no-compute-processes-/