Почему моя программа занимает так много времени?

Question

Я имею дело с большим txt-файлом, есть общие 8050000 строк. Краткий пример линий:

usedfor zipper fasten_coat 
usedfor zipper fasten_jacket 
usedfor zipper fasten_pant 
usedfor your_foot walk 
atlocation camera cupboard 
atlocation camera drawer 
atlocation camera house 
relatedto more plenty 

Я пишу код питона читать строки, и хранить их в качестве словаря. Мой код:

dicCSK = {} 
for line in finCSK: 
    line=line.strip('\n') 
    try: 
     r, c1, c2 = line.split(" ") 
    except ValueError: print line 
    if c1 not in dicCSK.keys(): 
     dicCSK[c1]= [] 
    str1 = r+" "+c2 
    dicCSK[c1].append(str1) 

Однако, я запустил программу более 20 часов, она все еще работает. Так лучше ли хранить их в словаре? Мой код слишком медленный. Благодарю.

Answer 1

Это ошибка: он генерирует список всех ключей в словаре и затем сканирует его.

if c1 not in dicCSK.keys(): 
    dicCSK[c1]= [] 

Вместо:

if c1 not in dicCSK: 
    dicCSK[c1] = [] 

Или вместо этого использовать defaultdict, чтобы избежать проверки.

dicCSK = collections.defaultdict(list) 
for line in finCSK: 
    line=line.strip('\n') 
    try: 
     r, c1, c2 = line.split(" ") 
    except ValueError: 
     print line 
    dicCSK[c1].append(r+" "+c2) 

Кроме того, вероятно, вы также хотите dicCSK[c1].append(r+" "+c2) заявления под else п о try/except в противном случае он будет выполнять даже тогда, когда есть ValueError исключения.