переформатирования текстового файла из строк в столбец

Question

У меня есть несколько файлов в директории, мне нужно переформатировать и поместить вывод в один файл, структура файла:

======================================================== 
Daily KPIs - DATE: 24/04/2013 
======================================================== 

-------------------------------------------------------- 
Number of des   = 5270 
-------------------------------------------------------- 
Number of users  = 210 
-------------------------------------------------------- 
Number of active  = 520 
-------------------------------------------------------- 
Total non    = 713 
-------------------------------------------------------- 

======================================================== 

мне нужна выходной формат, чтобы быть:

Date,Numberofdes,Numberofusers,Numberofactive,Totalnon 
24042013,5270,210,520,713 

каталог насчитывает около 1500 файлов с тем же форматом и им с помощью Centos 7.

Благодарности

Answer 1

Сначала нам нужен способ объединения элементов массива в строку (ср.Join elements of an array?):

function join_array() 
{ 
    local IFS=$1 
    shift 
    echo "$*" 
} 

Тогда мы можем цикл по каждому из файлов и конвертировать каждый в список разделенных запятыми (при условии, что исходный файл имеет имя, заканчивающийся в *.txt).

for f in *.txt 
do 
    sed -n 's/[^:=]\+[:=] *\(.*\)/\1/p' < $f | { 
     mapfile -t fields 
     join_array , "${fields[@]}" 
    } 
done 

Здесь команда sed выглядит внутри каждого входного файла для линий, которые:

1. начинаются с подстроки, которая содержит ни :, ни = знака ([^:=]\+ часть);
2. затем следуйте за : или = и произвольным количеством пробелов ([:=] *);
3. , наконец, конец с произвольной подстрокой (часть *\(.*\)).

Последняя подстрока затем захватывается и печатается вместо исходной строки. Любая другая строка во входных файлах будет удалена.

После этого выходной сигнал sed считывается mapfile в переменную индексированный массив fields (The -t гарантирует, что символ перевода строки из каждой строки чтения отбрасываются) и, наконец, линии соединяются благодаря нашему ранее определенного join_array метода.

Причина, по которой нам необходимо обернуть mapfile внутри подоболочки, поясняется здесь: readarray (or pipe) issue.