python dict/list comprehension: почему он медленнее, чем для цикла?

Question

events Считают, что здесь имеет около 48000 словарных объектов:

keyed_events = { gid: [ r for r in events if r['gid'] == gid ] for gid in gidlist } 

составляет около 4x медленнее, чем:

keyed_events = {} 
for event in events: 
    gid = event['gid'] 
    if gid not in keyed_events: 
     keyed_events[gid] = [] 
    keyed_events[gid].append(event) 

хотя первый выглядит более эффективным. Почему он медленнее? Итерация через events каждый проход понимания диктата?

Answer 1

keyed_events = { gid: [ r for r in events if r['gid'] == gid ] for gid in gidlist } 

Список/ДИКТ понимание работает на len(gidlist)*len(events) количество раз, как он перебирает events внутри цикла по gidlist.

для цикла, с другой стороны, имеет только один цикл по events с gid not in keyed_events, который является O(1) операцию

Answer 2

Я думаю, это потому, что в этом фрагменте вы перебор как gidlist и events, но в первом методе, но повторяя только events.

полностью Я думаю, что внутренний инлайн for неэффективна

Answer 3

Ваш словарь список + понимание более точно соответствует этому коду:

keyed_events = {} 
for gid in gidlist: 
    for r in events: 
     if r['gid'] == gid: 
      keyed_events[gid].append(r) 

Обратите внимание, что петля является вдвойне вложенной. Вы перебираете все события для каждого gid.

более точное соответствие вашему итеративного кода будет таким:

keyed_events = itertools.groupby(events, 'gid')