Bash «PS» параллельные процессы и проверить, когда они сделаны

Question

Имея большой набор файлов, мне нужно Grep через, я делаю это в Баш скрипт так:

#! /usr/bin/env bash 

REX="word" 
grep -IP $REX A* >> result & 
grep -IP $REX B* >> result & 
grep -IP $REX C* >> result & 
grep -IP $REX D* >> result & 
[..] 

Как знать когда все процессы закончены?

Answer 1

Я бы идти о решении вашей проблемы по-другому. find может находить определенные файлы в вашей файловой системе, а xargs позволяет запускать команды по заданным входным файлам. Поэтому я хотел бы использовать команду:

find ./ -type f -print0 | xargs -0 -I{} -n1 -P4 grep -IP $REX '{}' >> result 

Это будет искать, начиная с текущего каталога (./) для всех обычных файлов (-type f), и передавать их xargs безопасно в случае, если есть какие-либо пробелы в имя файла (-print0). xargs, то для каждой команды запускается команда grep. -I{} сообщает xargs, что там, где он видит {}, он вставляет имя файла в команду. Здесь не обязательно, но хорошая практика. -0 идет рука об руку с -print0 от find и говорит ему ожидать ввода таким образом. -P4 сообщает xargs для одновременного запуска до 4 процессов, а -n1, как описано в справочной странице, указывает на xargs, чтобы использовать только один аргумент за один раз за команду.

Существуют различные настройки, которые вы можете сделать здесь, независимо от того, хотите ли вы искать все файлы или переходить только на сертианную глубину, но эта общая команда должна помочь вам начать с такого рода задач.

Answer 2

Попробуйте проверить, что выход jobs -p | wc -l имеет нулевую длину.

FYI: существуют более эффективные способы параллельной обработки, чем использование оболочки в качестве менеджера заданий. find -print0 до xargs -0 -P - мой личный фаворит.

Answer 3

использование ожидание. Я даже не думаю, что вам нужно сохранить и указать pids в этом случае, например.

#! /usr/bin/env bash 

REX="word" 
grep -IP $REX A* >> result & 
grep -IP $REX B* >> result & 
grep -IP $REX C* >> result & 
grep -IP $REX D* >> result & 
[..] 
wait 
echo "done" 

Обратите внимание на то, что есть способы улучшить это, чем перечислять все. Вы можете передать ls в xargs или использовать exec с find, например.

Answer 4

Используйте Баш встроенный 'ждать'

ждать [п ...]

Wait для каждого указанного процесса и возвращает статус завершения. Каждый n может быть идентификатором процесса или спецификацией задания; если задана спецификация задания, ожидаются все процессы в конвейере заданий. Если n не задано, все текущие активные дочерние процессы ждут, а статус возврата равен нулю. Если n указывает несуществующий процесс или задание, статус возврата равен 127. В противном случае статус возврата - это статус выхода для последнего процесса или ожидаемого задания.

В вашем случае оно должно быть достаточно просто:

REX="word" 
grep -IP $REX A* >> result & 
grep -IP $REX B* >> result & 
grep -IP $REX C* >> result & 
grep -IP $REX D* >> result & 

echo "Waiting..." 
wait 
echo "All child terminated"