Параллельная обработка во время цикла

Question

У меня есть .sh, который читается в строках из .txt, которые будут использоваться в качестве параметров для другого сценария оболочки. Каждая из двух строк работает параллельно. В настоящее время: мой текущий код будет читаться во ВСЕХ строках файла (по 2 за один раз) для первого вызова .sh, затем ВСЕ строки для второго вызова .sh, затем ВСЕ для последнего вызова .sh

Проблема: Мне нужно сначала две строки в первом .sh, затем в секундах .sh, затем в последний .sh..THEN цикл назад и процесс со следующими двумя строками HHEEELLLPPP !!! :)

Сейчас:

cat XXXXX.txt | while read line; do 
export step=${line//\"/} 
export step=ExecuteModel_${step//,/_} 
export pov=$line 

$dir"/hpm_ws_client.sh" processCalcScriptOptions "$appName" "$pov" "$layers" "$stages" "" "$stages" "$stages" FALSE > "$dir""/"$step"_ProcessID.log" 
$dir_shell_model"/check_process_status.sh" "$dir" "$step" > "$dir""/""$step""_Monitor.log" & 


$dir"/hpm_ws_client.sh" processCalcScriptOptions "$appName" "$pov" "$layers" "" "" "$stage_final" "" TRUE > "$dir""/""$step""_ProcessID.log" 
$dir"/check_process_status.sh" "$dir" "$step" > "$dir""/""$step""_Monitor.log" & 

$dir"/hpm_ws_client.sh" processGenealogyExecutionPaths "$appName" "$pov" "$layers" "$genPath_01" > "$dir""/""$step""_ProcessID.log" 
$dir"/check_process_status.sh" "$dir" "$step" > "$dir""/""$step""_Monitor.log" & 

if ((++i % 2 == 0)) 
then 
echo "Waiting..." 
wait 
fi 
done 

Answer 1

Ну, это не красиво и, надеюсь, кто-то предложит более изящный способ чтения последовательных пар линий в этих циклах, но одна возможность использует переменную для отслеживания, где вы являются, как

LOCATION=0 
for file in first second last; do 
    LOCATION=$((LOCATION+2)) 
    LINES=$(head -n $LOCATION $file | tail -n 2) 
    # process lines 

Answer 2

Я не могу видеть, что вы на самом деле пытаетесь сделать, но надеюсь, что один из этих двух синтаксисов помогут - либо чтение две строки в то время, или загрузки параметров в массив в повторном использовании их.

Так что, если ваш file.txt выглядит следующим образом:

line 1 
line 2 
line 3 
line 4 
line 5 
line 6 

Пример 1 - с двумя читает

#!/bin/bash 
while read a && read b; do 
    echo $a, $b 
done < file.txt 

Выход

line 1, line 2 
line 3, line 4 
line 5, line 6 

Пример 2 - с Баш массива

#!/bin/bash 
declare -a params 
while IFS=$'\n' read -r z; do 
    params+=("${z}") 
done < file.txt 

# Now print the elements out 
for ((i=0;i<${#params[@]};i++)) do 
    echo ${params[$i]} 
done 

Выход

line 1 
line 2 
line 3 
line 4 
line 5 
line 6 

Пример 3 - с GNU Parallel

Или, как я предложил в моем комментарии, используйте GNU Parallel как это

parallel -k -L2 echo {1} {2} < file.txt 

Выход

line 1 line 2 
line 3 line 4 
line 5 line 6 

-k, где означает "сохранить вывод в порядке" и -L2 означает "берут 2 строки за один раз от file.txt".

Это имеет то преимущество, что если вы хотите одновременно запускать 8 сценариев одновременно, вы указываете -j 8 на parallel, и работа выполнена.