Torque/OpenMPI динамически распределяет узлы на основе количества процессоров

Question

Мне было интересно, достаточно ли Torque, чтобы назначить правильное количество узлов на основе того, сколько mpi-ядер вы запрашиваете. Для нашего кластера у нас есть гетерогенные узлы, и может быть довольно расточительно просто указать количество узлов, которые вы хотите, и процессоры на узел. Так что мне было интересно, если вы могли бы просто сделать что-то вроде этого

qsub -I -l procs:1000 
mpiexec -n 1000 mympijob 

Однако крутящий момент только выделяет один узел с помощью этой команды (как я не указать # узлов). Есть ли способ правильного количества узлов, основанных на моем количестве процессов, чтобы он мог быть максимально эффективным?

Боковая панель - Вероятно, мы скоро перейдем к SLURM, это хорошо в рамках возможностей?

Answer 1

Как правило, то, что мы делаем после выделения ресурсов, не является тем, что может контролировать планировщик.

В этом случае

mpirun/mpiexec -n 1000 

запускается на выполнение после распределения ресурсов по schduler.

Лучший способ, чтобы идти вперед, чтобы использовать переменные окружения, установленные планировщиком

$MPI_HOSTS 

значение, переданное через коммутатор -n.

пример:

mpirun $MPI_HOSTS <your program of choice> 

Вы можете запросить количество ядер, которые вы хотите, добавляя ППН аргумент к узлам.

qsub -l nodes=2:ppn=16 

Это выделяет 32 ядра в двух узлах.