Выполнение параллельных программ с использованием xargs

Question

У меня есть текущий скрипт.

#!/bin/bash 
# script.sh 

for i in {0..99}; do 
    script-to-run.sh input/ output/ $i 
done 

Я хочу запустить его параллельно с помощью xargs. Я пробовал

script.sh | xargs -P8 

Но выполнение вышеуказанного выполнено только один раз в то время. Не повезло и с -n8. Добавление & в конце строки, которая будет выполнена в цикле для цикла, попытается запустить скрипт 99 раз за раз. Как выполнить цикл только 8 в то время, до 100 всего.

Answer 1

На странице xargs человек:

Эта страница руководства документы версии GNU из xargs. xargs считывает элементы со стандартного ввода, разделенные пробелами (которые могут быть защищены с двойными или одинарными кавычками или обратной косой чертой) или новыми символами, и выполняет команду (по умолчанию is/bin/echo) один или несколько раз с любым начальным - аргументы, за которыми следуют пункты, считанные со стандартного ввода. Пустые строки на стандартных вводах игнорируются.

Это означает, что для вашего примера xargs ждет и собирая все выходные данные из вашего сценария и затем запустить echo <that output>. Не совсем то, что полезно и что вам нужно.

Аргумент -n состоит в том, сколько элементов из ввода используется с каждой командой, которая запускается (ничего, собственно, о параллелизме здесь).

Чтобы сделать то, что вы хотите с xargs вы должны были бы сделать что-то больше, как это (непроверенные):

printf %s\\n {0..99} | xargs -n 1 -P 8 script-to-run.sh input/ output/ 

Что ломается, как это.

• printf %s\\n {0..99} - печать один номер на линии от 0 до 99.
• Run xargs
  • принимая в наиболее один аргумент в командной строке запуска
  • и запустить до восемь процессов в то время

Answer 2

С GNU Parallel вы должны сделать следующее:

parallel script-to-run.sh input/ output/ {} ::: {0..99} 

Добавьте в -P8, если вы делаете не хотите выполнить одно задание на ядро ​​процессора.

Противоположный xargs он будет делать правильную вещь, даже если вход содержит пробел, 'или, (хотя здесь и не так). Он также гарантирует, что вывод с разных заданий не смешивается, поэтому, если вы используйте вывод, который вам гарантирован, что вы не получите половину строки из двух разных заданий.

GNU Parallel - это общий параллелизатор, который позволяет легко запускать задания параллельно на одном компьютере или на нескольких компьютерах, к которым у вас есть доступ к ssh.

Если у вас есть 32 различных заданий, которые вы хотите работать на 4-х процессоров, прямо вперед способ распараллеливания является выполнение 8 заданий на каждом CPU:

GNU Parallel вместо порождает новый процесс, когда один заканчивается - поддержание процессоров активным и тем самым экономя время:

Установка

Если GNU Parallel не упакован для вашего дистрибутива, вы можете выполнить личную установку, которая не требует доступа root. Это может быть сделано в течение 10 секунд, делая это:

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash 

Для других вариантов установки см http://git.savannah.gnu.org/cgit/parallel.git/tree/README

Подробнее

Другие примеры: http://www.gnu.org/software/parallel/man.html

смотреть интро видео: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Прогулка по Учебник: http://www.gnu.org/software/parallel/parallel_tutorial.html

Подпишитесь на почтовую рассылку, чтобы получить поддержку: https://lists.gnu.org/mailman/listinfo/parallel