чтения STDIN на куски в Баш трубе

Question

У меня есть несколько сценариев оболочки, которая работает с трубами, как например:

foo.sh | bar.sh 

Мои bar.sh вызывает некоторую командную программу строки, которая может принимать только определенное количество строк стандартного ввода. Таким образом, я хочу, чтобы большой stdout foo.sh был разбит на N количество строк, чтобы сделать несколько звонков bar.sh. По существу, paginate foo.sh 's stdout и делать несколько bar.sh.

Возможно ли это? Я надеюсь на магию между трубами, как foo.sh | ??? | bar.sh. xargs -n не совсем понял, чего я хочу.

Answer 1

Я нигде рядом с машиной, чтобы проверить это, но вам нужно GNU Parallel сделать это легко - вдоль линий:

foo.sh | parallel --pipe -N 10000 -k bar.sh 

В качестве дополнительного бонуса, который будет работать как можно больше bar.sh, так как у вас есть ядра ЦП.

Добавить -j 1, если вы хотите только один bar.sh за один раз.

Добавить --dry-run если вы хотите посмотреть, что он будет делать, но без doinng ничего.

Answer 2

Используйте петлю while read.

foo.sh | while read line1 && read line2 && read line3; do 
    printf "%s\n%s\n%s\n" "$line1" "$line2" "$line3" | bar.sh 
done 

Для больших N, напишите функцию, которая петли.

read_n_lines() { 
    read -r line || return 1 
    echo "$line" 
    n=$(($1 - 1)) 
    while [[ $n -gt 0 ]] && read -r line; do 
     echo "$line" 
     n=$((n-1)) 
    done 
} 

Тогда вы можете сделать:

n=20 
foo.sh | while lines=$(read_n_lines $n); do 
    printf "%s\n" "$lines" | bar.sh 
done