Выполнение параллельных заданий

Question

Я работаю над кластером титана, который состоит из 464 HP blade-систем, двух головных узлов и виртуализованного пула узлов входа (отправки). Каждый узел имеет восемь ядер (два четырехъядерных процессора) и либо 16 ГБ (430 узлов) или 32 ГБ (34 узла) памяти. Эти данные содержат 3712 вычислительных ядер и 8 ТБ общей ОЗУ (память)

Задача состоит в том, чтобы использовать 2 части, а именно R1, R2 для каждого файла образца. Каждый файл примера имеет R1, R2, представленные парами, которые должны быть используется вместе для создания файла .sam, ссылка - human_g1k_v37.fasta, а программное обеспечение - BWA.Я использую для цикла для этого, однако я не могу распараллелить его в кластере, поскольку это займет очень много времени для каждого образец для запуска по одному time.below сценария для запуска итеративного каждую пару по одному (работ)

sourcedir=/sourcepath/ 
destdir=/destinationpath/ 


for fname in *_R1.fastq.gz 
do 
base=${fname%_R1*} 
bwa-0.7.5a/bwa mem -t 8 human_g1k_v37.fasta "${base}_R1.fastq.gz" "${base}_R2.fastq.gz" > "$destdir/${base}_R1_R2.sam" 

done 

с помощью цикл будет поместить каждую работу на том же processor.I попытался с помощью «&» но это то же самое, что я считаю, и я т, кажется, не работает в этом case.I нужны все эти процессы, чтобы работать на другом процессоре параллельно (может быть работа массив ??) Ниже скрипт не работает (для параллельной обработки)

sourcedir=/sourcepath/ 
destdir=/destinationpath/ 


for fname in *_R1.fastq.gz 
do 
base=${fname%_R1*} 
bwa-0.7.5a/bwa mem -t 8 human_g1k_v37.fasta "${base}_R1.fastq.gz" "${base}_R2.fastq.gz" > "$destdir/${base}_R1_R2.sam" & 

done 
wait 

Для более подробности, пожалуйста, см. этот предыдущий пост. Looping files in bash

Благодаря

Answer 1

Как насчет представления вашей работы в вашей сетке двигателя, он будет обрабатывать сам распараллеливание:

#! /bin/sh 
### Your script task.sh ### 
#$ -S /bin/sh 

bwa-0.7.5a/bwa mem -t 8 human_g1k_v37.fasta "${1}_R1.fastq.gz" "${1}_R2.fastq.gz" > "$destdir/${1}_R1_R2.sam" 

, а затем в цикле:

for fname in *_R1.fastq.gz 
do 
    base=${fname%_R1*} 
    qsub task.sh ${base} 
done