Самый быстрый способ подсчета количества уникальных значений на ключ?

Question

У меня есть текстовый файл с двумя именами столбцов | фамилия, в которой имя может иметь различное семейство, поэтому у нас есть несколько строк с тем же именем и разными именами. Файл составляет около 50 ГБ. То, что я хочу, это количество фамилий на имя.

В настоящее время я создал словарь с именами в качестве ключей и фамилии в качестве значений, и я распечатываю каждый ключ и длину значения (как набор фамилий). Но это не очень эффективно и быстро

d = defaultdict(set) 


f = open(file, 'r') 
for n, line in enumerate(f): 
    name,family= line.split('|') 
    d[name].add(family) 


for name, family in d.iteritems(): 
    print("%s|%s" % (name, len(family)), file = w) 

ли любое тело любое предложение для более быстрого способа получения такого же результата?

Answer 1

Один из вариантов заключается в использовании collections.Counter. Это приведет к удвоению одинаковых строк, но может пойти быстрее:

import collections 

with open('input.txt', 'r') as f: 
    d = collections.Counter(line.split('|',1)[0] for line in f) 

print d.most_common(5)