GROUP BY/SUM из оболочки

Question

У меня есть большой файл, содержащий данные, как это:

a 23 
b 8 
a 22 
b 1 

Я хочу, чтобы иметь возможность получить это:

a 45 
b 9 

Я первый сортировать этот файл, а затем сделайте это в Python, сканируя файл один раз. Каков хороший прямой способ командной строки?

Answer 1

awk '{ 
    arr[$1]+=$2 
    } 
    END { 
    for (key in arr) printf("%s\t%s\n", key, arr[key]) 
    }' file \ 
    | sort +0n -1 

Надеюсь, это поможет.

Answer 2

Нет необходимости AWK здесь, или даже своего рода - если у вас есть Bash 4.0, вы можете использовать ассоциативные массивы:

#!/bin/bash 
declare -A values 
while read key value; do 
    values["$key"]=$(($value + ${values[$key]:-0})) 
done 
for key in "${!values[@]}"; do 
    printf "%s %s\n" "$key" "${values[$key]}" 
done 

... или, если отсортировать файл первым (который будет более экономия памяти, GNU sort может делать трюки для сортировки файлов, больших, чем память, что наивный скрипт - будь то в awk, python или shell - обычно не будет), вы можете сделать это таким образом, который будет работать в более старые версии (я ожидаю, что следующие работы через Баш 2.0):

#!/bin/bash 
read cur_key cur_value 
while read key value; do 
    if [[ $key = "$cur_key" ]] ; then 
    cur_value=$((cur_value + value)) 
    else 
    printf "%s %s\n" "$cur_key" "$cur_value" 
    cur_key="$key" 
    cur_value="$value" 
    fi 
done 
printf "%s %s\n" "$cur_key" "$cur_value" 

Answer 3

Один из способов, используя perl:

perl -ane ' 
    next unless @F == 2; 
    $h{ $F[0] } += $F[1]; 
    END { 
     printf qq[%s %d\n], $_, $h{ $_ } for sort keys %h; 
    } 
' infile 

Содержание infile:

a 23 
b 8 
a 22 
b 1 

Выход:

a 45 
b 9 

Answer 4

С ГНУ AWK (версии менее 4):

WHINY_USERS= awk 'END { 
    for (E in a) 
    print E, a[E] 
    } 
{ a[$1] += $2 }' infile 

С GNU AWK> = 4:

awk 'END { 
    PROCINFO["sorted_in"] = "@ind_str_asc" 
    for (E in a) 
    print E, a[E] 
    } 
{ a[$1] += $2 }' infile 

Answer 5

Это Perl один вкладыш, кажется, чтобы сделать работу:

perl -nle '($k, $v) = split; $s{$k} += $v; END {$, = " "; foreach $k (sort keys %s) {print $k, $s{$k}}}' inputfile 

Answer 6

Это может быть легко достигнуто с единственным лайнером:

cat /path/to/file | termsql "SELECT col0, SUM(col1) FROM tbl GROUP BY col0" 

Or.

termsql -i /path/to/file "SELECT col0, SUM(col1) FROM tbl GROUP BY col0" 

Вот пакет Python, termsql, используется, который является оберткой SQLite. Обратите внимание, что в настоящее время это не загружать на PyPI, а также может быть установлено только в масштабе всей системы (setup.py немного сломан), как:

sudo pip install https://github.com/tobimensch/termsql/archive/master.zip