Извлечение данных из колонок unix

Question

У меня есть файлы с несколькими столбцами, и я хочу читать значения из определенного столбца. Я могу прочитать столбец, используя awk{print $column_number}.

Каждый файл имеет разную длину столбцов, то есть некоторые могут составлять 1000 записей, а другим может быть всего 2 и так далее. Сами записи варьируются от 1 цифры до 5 цифр. Это одинаково для всех файлов.

Я хочу рассчитать диапазон наиболее повторяющихся значений. Например, если столбец гласит:

5 
93 
201 
2002 
20003 
20005 
20087 
31450 
31451 
31452 
31458 
52400 
52428 

, то я хочу, чтобы хранить 31,400 как наиболее неоднократного значение, то 20,000 и 52,000 в качестве второго и третьего наиболее наиболее часто повторяющихся значений и так далее. Вы можете сказать, что я округляю ценности, чтобы увидеть самые повторяющиеся числа, если это имеет смысл. Эти значения (наиболее часто повторяющихся, то второй наиболее неоднократное) можно считать кратные 100. Таким образом, в основном код должен выглядеть примерно так:

for f in ls path-to-the-files/*

do

while read i 

    do 
    <do the operation to sort and store the values> 
done   

done

Буду признателен за помощь в этом!

Answer 1

Это может работать для вас:

sed 's/.\?.$//;s/^$/0/;s/.$/,&00/;s/^,/0,/' file | sort | uniq -c | sort -nr 
4 31,400 
3 20,000 
2 52,400 
2 0,000 
1 2,000 
1 0,200 

Если вы не заинтересованы в использовании формата ,:

sed 's/.\?.$//;s/$/00/;s/^00$/0/' file | sort | uniq -c | sort -nr 
    4 31400 
    3 20000 
    2 52400 
    2 0 
    1 2000 
    1 200 

Answer 2

Вы, кажется, хотите посчитать количество значений в каждом диапазоне 100, 0..99, 100..199, 200..299 и т. Д., А затем найти самый большой такой диапазон.

Возможно, вы можете сделать это в awk (и определенно в Python), но я собираюсь использовать Perl.

Я собираюсь скопировать номер столбца в программу; который может быть изменен (например, вариант в командной строке), если это необходимо. Я выбрал столбец 3, считая от 0.

#!/usr/bin/env perl 
use strict; 
use warnings; 
use constant colno => 3; 

my %ranges; 

while (<>) 
{ 
    my(@fields) = split /\s+/; 
    my($key) = int($fields[colno]/100); 
    $range{$key}++; 
} 

# The hash now contains the number of entries for each range that's present in the 
# data. Now we need to hack the data so that we can easily find the range(s) with 
# the largest counts. 
# Apply the Schwartzian Transform: http://en.wikipedia.org/wiki/Schwartzian_transform 

my @results = map { [$_->[0], $_->[1]] } 
       sort { $a->[1] <=> $b->[1] } 
       map { [$_, $ranges{$_}] } 
        keys %ranges; 

# And print the results 
foreach my $ref (reverse @results) 
{ 
    printf "%5d = %d\n", $ref->[0] * 100, $ref->[1]; 
} 

Для данных образцов (ватные с тремя предыдущими колоннами), выход:

31400 = 4 
20000 = 3 
    0 = 2 
52400 = 2 
2000 = 1 
    200 = 1 

Schwartzian Transform глубокая черная магия. Здесь может не понадобиться, но это работает. (И да, это первый раз, когда я использовал его.)

---

код Perl было весело (и, вероятно, довольно быстро), но если вы не имеете Perl на машине, то вам нужно альтернатива.

awk '{value = int($3/100); print value*100;}' files | 
sort | 
uniq -c | 
sort -nr 

awk код поднимает колонку 3 (считая от 1, а не 0!), Делит значение на 100 и преобразует его в целое число, а затем выводит значение, умноженное на 100; это дает группировку, которую вы хотите. Оставшийся sort | uniq -c | sort -nr конвейер является стандартной идиомой для подсчета вхождений и сортировки, так что наиболее часто появляется первая. На самом деле, часто бывает лучше оставить r из окончательной сортировки, так что последние несколько строк вывода являются наиболее интересными.