просмотр памяти в PBS

Question

Я выполняю задание на кластере (используя PBS), в котором заканчивается память. Я пытаюсь напечатать статус памяти для каждого узла отдельно, пока выполняется другое задание. Я создал сценарий оболочки и включил вызов этого скрипта из моего сценария отправки задания. Но когда я отправляю свою работу, это дает мне разрешение отклонить ошибку в строке, которая вызывает скрипт. Я не понимаю, почему я получаю эту ошибку.

Во-вторых, я думал, что у меня может быть «свободное время» или «смотреть ps aux» в моем файле сценария, но теперь я думаю, что если это заставит мою поданную работу застрять в сценарии просмотра памяти и никогда не переходите к главной линии, которая вызывает мою параллельную программу.

В конце концов, как я могу добиться регистрации моей памяти в PBS для заданий, которые я отправляю. Мой код - это программа на C++, использующая библиотеку MRMPI (MPI MapReduce).

Answer 1

Чтобы узнать, сколько памяти используется на протяжении работы, запустите qstat -f:

$ qstat -f | grep used 
    resources_used.cput = 00:02:51 
    resources_used.energy_used = 0 
    resources_used.mem = 6960kb 
    resources_used.vmem = 56428kb 
    resources_used.walltime = 00:01:26 

Чтобы исследовать прошлые работы вы можете посмотреть в файл учета. Он находится в каталоге server_priv/accounting, по умолчанию используется/var/spool/torque/server_priv/accounting /.

Записи выглядеть следующим образом:

09/14/2015 10:52:11;E;202.napali;user=dbeer group=company jobname=intense.sh queue=batch ctime=1442248534 qtime=1442248534 etime=1442248534 start=1442248536 owner=dbeer@napali exec_host=napali/0-2 Resource_List.neednodes=1:ppn=3 Resource_List.nodect=1 Resource_List.nodes=1:ppn=3 session=20415 total_execution_slots=3 unique_node_count=1 end=0 Exit_status=0 resources_used.cput=1989 resources_used.energy_used=0 resources_used.mem=9660kb resources_used.vmem=58500kb resources_used.walltime=995

Answer 2

Примечание: если ваш доступ SSH к вычислительным узлам кластера закрыт, этот метод не будет работать!

Вот как я это сделал. Это может быть не самый лучший способ, но он работает: Итак, я добавил несколько коротких периодов сна между моей картой и уменьшил шаги, вызвав функцию C++ sleep(). А также написал сценарий, что ssh для узлов, на которых выполняется моя работа, а затем получает статус памяти на тех узлах, которые записывают их в файл (используя команды «free» или «top»).

Более подробно: в моем сценарии работы PBS, где-то перед вызовом моих двоичным, я добавил эту строку:

#this goes in job script, before the call to the job binary: 
cat $PBS_NODEFILE > /some/path/nodelist.log 

Это записывает список узлов, что моя работа бежит дальше, в файл.

У меня есть второй сценарий «watchmem.sh»:

#!/bin/bash 
for i in $(seq 60) 
do 
    while read line; 
    do 
      ssh $line 'bash -s' < /some/path/remote.sh "$line" 
    done < /some/path/nodelist.log 
    sleep 10 
done 

Этот сценарий читает файл nodelist.log, который мы сгенерировали ранее, выполняет SSH в каждый узел и вызывает третий (и последний сценарий) , remote.sh, на каждом из этих узлов.

remote.sh содержит команды, которые мы запускаем на каждом узле нашей работы. В этом случае он печатает текущее время и результат «бесплатно» в отдельные файлы для каждого узла:

#remote.sh 
echo "Current time : $(date)" >> $1 
free >> $1 #this can be replaced by top by specifying a -n for it 

Сопоставляя раз из этих файлов и времени я печать из моих двоичных давай мне узнать потребление памяти (alloc/dealloc) на каждом шаге. Спящие периоды в моей работе - убедиться, что мои сценарии фиксируют состояние памяти между шагами. «sleep 10» в моем скрипте - избежать ненужной записи в файл; этот период должен быть сопоставим с продолжительностью сна в основной работе.