Проверьте, какая строка в определенном столбце повторяется

Question

Я хочу увидеть, какая строка в моей колонке 2 повторяется.

Например:

a apple 
b peach 
c grape 
d peach 
e peach 
f apple 

Мой результат будет:

a apple 
f apple 
b peach 
d peach 
e peach 

Показана вся строка, которая имеет общую строку на второй колонке.

Answer 1

Если вы не хотите хранить весь файл в памяти, лучше всего дважды прочитать файл.

$ awk 'FNR==NR {a[$2]++; next} a[$2]>1' file file 
a apple 
b peach 
d peach 
e peach 
f apple 

• , во-первых, чтобы подсчитать, сколько раз появляется значение столбца
• , во-вторых, чтобы напечатать строки, в которых второй столбец подсчитывали по крайней мере дважды.

Как Jonathan Leffler suggests, чтобы воспроизвести точный вывод, который вы получаете, только трубы к sort показывая, что он должен сортировать в первую очередь на колонке 2, а затем на колонке 1:

awk 'FNR==NR {a[$2]++; next} a[$2]>1' file file | sort -k2,2 -k1 

Answer 2

Perl-решение, которое Безразлично» т прочитать файл дважды:

perl -lane 'push @{$s{$F[1]}},$_; 
      END{ 
       do{print join "\n", @{$s{$_}} if scalar(@{$s{$_}})>1}for(%s) 
      }' file 

Это проходит через файл и сохраняет каждую строку в хэш, ключом которого является 2ст поле и Whos e - это списки строк. Затем, в конце, он распечатает списки, чей ключ был просмотрен более одного раза.

Answer 3

С GNU AWK для истинных 2D массивов:

gawk ' 
{ vals[$2][++cnt[$2]] = $0 } 
END { 
    for (fruit in vals) 
     if (cnt[fruit] > 1) 
      for (i=1; i<=cnt[fruit]; i++) 
       print vals[fruit][i] 
} 
' file 
a apple 
f apple 
b peach 
d peach 
e peach