Выполнение сценариев bash параллельно

Question

Я хотел бы запускать команды параллельно. Так что, если кто-то терпит неудачу, вся работа существует как сбой. Как я могу это сделать? В частности, я хотел бы запускать команды aws sync параллельно. У меня есть 5 команд синхронизации aws, которые запускаются последовательно. Я бы хотел, чтобы они работали параллельно, чтобы, если кто-то терпел неудачу, вся работа терпит неудачу. Как я могу это сделать?

Answer 1

GNU Parallel это действительно удобный и мощный инструмент, который работает с чем Баш

http://www.gnu.org/software/parallel/

https://www.youtube.com/watch?v=OpaiGYxkSuQ

# run lines from a file, 8 at a time 
cat commands.txt | parallel --eta -j 8 "{}"