Буферизация вывода с AWK

Question

У меня есть входной файл, который состоит из трех частей:

inputFirst 
inputMiddle 
inputLast 

В настоящее время у меня есть сценарий AWK, который с этим входом создает выходной файл, который состоит из двух частей:

outputFirst 
outputLast 

где outputFirst и outputLast генерируется (на лету) от inputFirst и inputLast соответственно. Однако, чтобы вычислить outputMiddle (это только одна строка), мне нужно отсканировать весь ввод, поэтому я храню его в переменной. Проблема в том, что значение этой переменной должно находиться между outputFirst и outputLast в выходном файле.

Есть ли способ решить эту проблему с помощью одного портативного AWK-скрипта, который не принимает аргументов? Есть ли переносимый способ создания временных файлов в AWK-скрипте или я должен хранить вывод с outputFirst и outputLast в двух переменных? Я подозреваю, что использование переменных будет довольно неэффективным для больших файлов.

Answer 1

Если выходной файл не слишком большой (независимо от того, что есть), сохранение outputLast в переменной вполне разумно. Первая часть, outputFirst, может (как описано) быть сгенерирована на лету. Я пробовал этот подход, и он работал нормально.

Answer 2

Все версии AWK (начиная с по меньшей мере 1985 года) могут выполнять базовое перенаправление ввода-вывода в файлы или конвейеры, как и оболочку, а также запускать внешние команды без перенаправления ввода-вывода.

Таким образом, существует множество способов приблизиться к вашей проблеме и решить ее без необходимости считывать весь входной файл в память. Наиболее оптимальное решение будет зависеть именно от того, что вы пытаетесь сделать, и от каких ограничений вы должны соблюдать.

Простой подход к более точным, например, проблемы вы описываете в своем комментарии выше, будет, возможно, пойти что-то вроде этого: сначала в виде BEGIN п два уникальных имен файлов с rand() (и определить переменные), а затем читать и просуммировать первый 50 номеров со стандартного ввода, а также записывая их во временный файл, а затем продолжая читать и суммировать следующие 50 номеров и записывать их во второй файл, а затем, наконец, в предложении END, вы должны использовать цикл для чтения первого временного файла с getline и записать его на стандартный вывод, распечатать общую сумму, затем прочитать второй временный файл таким же образом и записать его на стандартный вывод, и, наконец, вызвать system("rm " file1 " " file2) для удаления временных файлов.

Answer 3

Распечатайте «первый» вывод при обработке файла, а затем напишите остаток во временный файл до тех пор, пока вы не написали середину.

Это автономный сценарий оболочки, который обрабатывает свои входные файлы и записывает их в стандартный вывод.

#!/bin/sh 
t=$(mktemp -t middle.XXXXXXXXX) || exit 127 
trap 'rm -f "$t"' EXIT 
trap 'exit 126' HUP INT TERM 
awk -v temp="$t" "NR<500000 { print n+1 } 
    { s+=$1 } 
    NR>=500000 { print n+1 >>temp 
    END { print s }' "$@" 
cat "$t" 

Для иллюстрации я использовал действительно большие номера строк. Боюсь, что ваш вопрос по-прежнему слишком расплывчатый, чтобы получить менее общий ответ, но, возможно, это поможет вам найти правильное направление.