Как я могу использовать канал или перенаправить команду qsub?

Question

Есть несколько команд, которые я хотел бы запускать на сетке, используя qsub (SGE 8.1.3, CentOS 5.9), которые должны использовать канал (|) или перенаправление (>). Например, предположим, что я должен распараллелить команду

echo 'hello world' > hello.txt 

(Очевидно, упрощенный пример: в реальности я, возможно, придется перенаправить вывод программы, как bowtie непосредственно samtools). Если бы я сделал:

qsub echo 'hello world' > hello.txt 

в результате содержание hello.txt будет выглядеть

Your job 123454321 ("echo") has been submitted 

Аналогично, если я использовал трубу (echo "hello world" | myprogram), что сообщение является все, что будет передан myprogram, а не фактическое стандартный вывод.

Я знаю, что могу написать небольшой скрипт bash, в котором каждая команда содержит команду pipe/redirect, а затем qsub ./myscript.sh. Тем не менее, я пытаюсь запустить много параллельных заданий в то же время, используя скрипт, поэтому мне пришлось бы написать много таких сценариев bash, каждый из которых имеет немного другую команду. При написании сценариев это решение может начать чувствовать себя очень хаки. Пример такого сценария в Python:

for i, (infile1, infile2, outfile) in enumerate(files): 
    command = ("bowtie -S %s %s | " + 
       "samtools view -bS - > %s\n") % (infile1, infile2, outfile) 

    script = "job" + str(counter) + ".sh" 
    open(script, "w").write(command) 
    os.system("chmod 755 %s" % script) 
    os.system("qsub -cwd ./%s" % script) 

Этого разочарование по нескольким причинам, среди них, что моя программа не может даже удалить многие jobXX.sh скриптов впоследствии убирать за собой, так как я не знайте, как долго работа будет ждать в очереди, и сценарий должен быть там, когда начинается задание.

Есть ли способ предоставить мою полную команду echo 'hello world' > hello.txt qsub без, чтобы создать другой файл, содержащий команду?

Answer 1

Вы можете сделать это, превратив его в bash -c команду, которая позволяет поставить | в цитируемом заявлении:

qsub bash -c "cmd <options> | cmd2 <options>" 

Как @spuder отметил в комментариях, кажется, что в других версиях qsub (не Sge 8.1.3, который я использую), можно решить проблему с:

echo "cmd <options> | cmd2 <options>" | qsub 

, а также.

Answer 2

Хотя мой ответ немного поздний, я добавляю его для всех входящих зрителей. Чтобы использовать pipe/direct и представить, что в качестве задания qsub вам нужно сделать пару вещей. Но, во-первых, использование qsub в конце такого канала, как вы делаете, приведет только к тому, что одно задание будет отправлено в очередь (т. Е. Ваш код будет запускаться последовательно, а не распараллеливаться).

1. Запустить qsub с включенным двоичным режимом, поскольку поведение qsub по умолчанию скорее ожидает скомпилированный код. Для этого вы используете флаг «-b» для qsub, и вы избежите ошибок «команды, требуемой для двоичного режима» или «длина скрипта не соответствует объявленной длине».
2. эхо каждого вызова qsub, а затем передать его оболочке.

Предположим, у вас есть файл params-query.TXT которые держат несколько команд бабочки и водопроводной вызовы на samtools следующего вида:

bowtie -q query -1 param1 -2 param2 ... | samtools ... 

Для отправки каждого запроса в виде отдельного задания первого подготовить свои единицы командной строки из STDIN через xargs STDIN. Обратите внимание, что цитаты вокруг фигурных скобок важны, если вы отправляете команду с конвейерными частями. Таким образом, весь ваш запрос обрабатывается одним модулем.

cat params-query.txt | xargs -i echo qsub -b y -o output_log -e error_log -N job_name \"{}\" | sh 

Если это не работает, как ожидалось, то вы, вероятно, лучше генерируя промежуточный выходной сигнал между бабочкой и samtools перед вызовом samtools принять этот промежуточный вывод. Вам не нужно будет изменить qsub вызов через xargs, но код в Params-query.txt должен выглядеть следующим образом:

bowtie -q query -o intermediate_query_out -1 param1 -2 param2 && samtools read_from_intermediate_query_out 

This page has interesting qsub tricks you might like

Answer 3

grep http *.job | awk -F: '{print $1}' | sort -u | xargs -I {} qsub {}