Перечислить через список с помощью mmap - Python

Question

Можно ли перебирать список с помощью файла mmap? Дело в том, что список слишком велик (более 3 000 000 предметов). Мне нужно иметь быстрый доступ к этому списку при запуске программы, поэтому я не могу загрузить его в память после запуска программы, потому что это занимает несколько секунд.

with open('list','rb') as f: 
    mmapList = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) # As far as I'm concerned, now I have the list mapped in a virtual memory. 

Теперь, я хочу перебрать этот список.

for a in mmapList не работает.

EDIT: Единственный способ, которым я знаю, - сохранить элементы списка в виде строк в txt-файле, а затем использовать readline, но мне любопытно, есть ли лучший и быстрый способ.

Answer 1

Вам не нужно использовать mmap для повторения списка cPickled. Все, что вам нужно сделать, это не разборки всего списка, разборки и сброса каждого элемента, а затем их чтение по одному из файла (для этого можно использовать генератор).

Код:

import pickle 

def unpickle_iter(f): 
    while True: 
    try: 
     obj = pickle.load(f) 
    except EOFError: 
     break 
    yield obj 

def save_list(list, path): 
    with open(path, 'w') as f: 
    for i in list: 
     pickle.dump(i, f) 

def load_list(path): 
    with open(path, 'r') as f: 
    # here is your nice "for a in mmaplist" equivalent: 
    for obj in unpickle_iter(f): 
     print 'Loaded object:', obj 

save_list([1,2,'hello world!', dict()], 'test-pickle.dat') 
load_list('test-pickle.dat') 

Выход:

Loaded object: 1 
Loaded object: 2 
Loaded object: hello world! 
Loaded object: {}