Профилирование MPI + Cuda

Question

Я разрабатываю проект MPI + cuda, и я попытался профилировать свое приложение с помощью nvvp и nvprof, но в обоих случаях он не дает профиля. Приложение работает отлично, но профиль не создается.

Я пробовал с примером simpleMPI cuda с тем же результатом.

Я использую CUDA 5.0 в 580 GTX и OpenMPI 1.7.3 (признакам, еще не выпустить, потому что я тестирования CUDA-осведомленный опция)

Любые идеи? Большое спасибо.

Answer 1

mpirun сам по себе не является приложением CUDA. Вы должны запустить профилировщик, как mpirun -np 2 nvprof MPI_test. Но вы также должны убедиться, что каждый экземпляр nvprof (два экземпляра в этом случае) записывает в другой выходной файл. Открытый MPI экспортирует переменную среды OMPI_COMM_WORLD_RANK, которая дает ранг процесса в MPI_COMM_WORLD. Это можно использовать только в другой оболочке, например. wrap_nvprof:

#!/bin/bash 
nvprof -o profile.$OMPI_COMM_WORLD_RANK $* 

Это должно работать как mpirun -n 2 ./wrap_nvprof executable <arguments> и после того, как он закончил там должно быть два выходных файлов с информацией о профиле: profile.0 для ранга 0 и profile.1 для ранга 1.

Edit: Там находится пример сценария оболочки nvprof, который делает то же самое более изящным способом и обрабатывает как Open MPI, так и MVAPICH2 в документации nvvp. Версия скрипта воспроизводится в this answer на вопрос, что ваш более или менее дубликат.