Streaming split

Question

Я пытаюсь разделить выход программы на более мелкие файлы. Это длинная программа, которая выводит свой вывод на stderr, и я хотел бы записывать журналы в ряд небольших файлов, а не в один гигантский файл. Так что у меня есть:

program 2>&1 | split -l100 & 

... но, к моему ужасу, я обнаружил, что инструмент split фактически не писать какие-либо файлы на диск, пока входной буфер не заканчивается. То, что я хочу, представляет собой потоковый инструмент, который автоматически копирует свой вход в выходные файлы потоковым способом, не дожидаясь окончания потока источника, что в нашем случае не является необходимым. Я также попробовал параметр -u инструмента split, но он не работает, если вы не выбрали опцию -n, но этот вариант действительно не применим в моем случае, потому что количество сгенерированных файлов может быть произвольно высоким. Есть ли инструмент Unix, который может позволить мне сделать это?

Answer 1

Предложение Barmar, чтобы добавить звонок в fflush() после каждой итерации в скрипте awk, работало для меня. Это было предпочтительнее, когда я вызывал close() на каждый файл, когда это было сделано, поскольку это будет только очищаться, когда каждый файл будет заполнен, в то время как мне нужно поведение, зависящее от строки. Я также должен был сконфигурировать выходной канал для буферизации строк, поэтому команда в конце выглядит так:

stdbuf -oL -eL command 2>&1 | awk -v number=1 '++i>1000 {++number; i=0} {print > "file" number; fflush("file" number)}'