MPI не использует все выделенные CPU

Question

Я пытаюсь запустить некоторый код на нескольких процессорах с использованием MPI.

Я бегу с помощью:

$ mpirun -np 24 python mycode.py 

Я бегу на кластере с 8 узлами, каждый из которых с 12 процессорами. Мои 24 процесса разбросаны по всем узлам.

Назовем узлы node1, node2, ..., node8 и предположим, что главный процесс находится на узле1, и моя работа - единственная работа. Таким образом, node1 имеет мастер-процесс и несколько подчиненных процессов, остальные узлы имеют только подчиненные процессы.

Используется только узел с основным процессом (например, node1). Я могу сказать, потому что у узлов2-8 есть load ~ 0, а node1 имеет нагрузку ~ 24 (тогда как я ожидал бы, что нагрузка на каждый узел будет приблизительно равна количеству процессоров, выделенных для моего задания из этого узла). Кроме того, каждый раз, когда функция оценивается, я получаю ее, чтобы распечатать имя хоста, на котором он работает, и он каждый раз выводит «node1». Я не знаю, является ли основной процесс единственным, кто делает что-либо, или если ведомые процессы на том же узле, что и мастер, также используются.

Кластер, в котором я работаю, недавно был обновлен. Перед обновлением я использовал тот же код, и он вел себя так, как ожидалось (т. Е. Когда я попросил 24 процессора, он дал мне 24 процессора, а затем использовал все 24 процессора). Эта проблема возникла только после обновления, поэтому я предполагаю, что настройка где-то была изменена или сброшена. Кто-нибудь видел эту проблему раньше и знал, как я могу это исправить?

Edit: Это представляется как работу с планировщиком с помощью:

#!/bin/bash 
# 
#$ -cwd 
#$ -pe * 24 
#$ -o $JOB_ID.out 
#$ -e $JOB_ID.err 
#$ -r no 
#$ -m n 
#$ -l h_rt=24:00:00 

echo job_id $JOB_ID 
echo hostname $HOSTNAME 

mpirun -np $NSLOTS python mycode.py 

Кластер работает SGE, и я представить эту работу с помощью:

qsub myjob 

Answer 1

Также можно указать, где вы хотите, чтобы ваши задания выполнялись с помощью файла хоста. Способ форматирования и использования файла хоста зависит от реализации MPI, поэтому вам нужно проконсультироваться с документацией по той, которую вы установили (man mpiexec), чтобы узнать, как ее использовать.

Основная идея заключается в том, что внутри этого файла вы можете определить узлы, которые вы хотите использовать, и сколько рангов вы хотите на этих узлах. Это может потребовать использования других флагов, чтобы указать, как процессы сопоставляются с вашими узлами, но в конце вы обычно можете контролировать, как все выкладывается самостоятельно.

Все это по-другому, если вы используете планировщик, такой как PBS, TORQUE, LoadLeveler и т. Д., Поскольку они могут иногда делать некоторые из этих действий для вас или иметь разные способы сопоставления самих заданий. Вам придется проконсультироваться с документацией для этих отдельно или задать другой вопрос о них с соответствующими тегами здесь.

Answer 2

Кластеры обычно имеют пакетный планировщик, как PBS, TORQUE, LoadLeveler и т. Д. Обычно предоставляется сценарий оболочки, который содержит команду mpirun вместе с переменными среды, которые требуется планировщику. Вы должны спросить у администратора кластера, что этот процесс предназначен для отправки пакетных заданий MPI.