Как найти уникальные строки в большом файле?

Question

У меня есть большой файл (4 миллиарда строк), каждая строка содержит одно слово. Я хочу найти список уникальных слов и соответствующие значения.

Я пробовал:

sort largefile |uniq -c >outfile

но это все еще работает и не выход.

тогда я попробовал:

awk '!arr[$1]++' largefile >outfile

, но это не не печатают счетчики. Как я могу использовать awk для печати счетчиков? или любой другой альтернативный подход, который может обрабатывать большие файлы.

Редактировать: В файле содержится около 17 миллионов уникальных слов.

Answer 1

Насколько велики файлы? сколько уникальных слов вы ожидаете? В большинстве случаев ваше решение sort | uniq - хорошее начало, но, очевидно, если файлы слишком большие, это не хорошо. Скрипт Perl, который сохраняет каждое слово в хеше, может сработать для вас.

Это непроверенное и из памяти, так что она может иметь кучу ошибок ...

my %words =(); 
open(IN, "<", "yourfile") or die "Arrgghh file didn't open: $!"; 
while(<IN>) { 
    chomp; 
    $words{$_}++; 
} 
close(IN); 
for my $k in (keys %words) { 
    print "$k $words{$k}\n"; 
} 

Answer 2

Ваш первый пример в порядке. Попробуйте просто:

sort largefile | uniq -c 

потребуется какое-то время.

Answer 3

uniq - это путь, но 4 миллиарда строк - это просто много строк. Если вам нужна информация часто, я бы установил базу данных и импортировал строки. Это ускорит запросы, основанные на индексах. Но, однако, 4 миллиарда строк - это много строк

Answer 4

Preprocess файлы с помощью разделения -l, чтобы 1000000 разделить этот файл на 40 1000000 строк файлов, сортировать их используя sort -u. объедините их обратно в один большой файл, дайте этому, чтобы отсортировать -u снова.

## if you use just this, you need gawk 4.1 
# 
gawk '{key[$0]++;} END { for(word in key) { print key[word] "\t" word }}' bigfile 


cd to directory with bigfile 
split -l 1000000 bigfile aa, small ## makes smallaa, smallab, etc. 

for files in small* 
do 
    echo "Sorting file $files" 
    sort -u $files -o $files.srt 
done 

sort -m *.srt -o bigagain 
sort -u bigagain > smallish 

now have words but no counts. 
gawk '{key[$0]++;}' smallish bigfile # or better yet