Разделение большого файла на файл меньшего размера, дающий ошибку памяти

Question

Это код python, который я использую. У меня есть файл 5gb, который мне нужно разделить примерно на 10-12 файлов в соответствии с номерами строк. Но этот код дает ошибку памяти. Пожалуйста, может кто-нибудь сказать мне, что не так с этим кодом?

from itertools import izip_longest 

def grouper(n, iterable, fillvalue=None): 
    "Collect data into fixed-length chunks or blocks" 
    # grouper(3, 'ABCDEFG', 'x') --> ABC DEF Gxx 
    args = [iter(iterable)] * n 
    return izip_longest(fillvalue=fillvalue, *args) 

n = 386972 

with open('reviewsNew.txt','rb') as f: 
    for i, g in enumerate(grouper(n, f, fillvalue=''), 1): 
     with open('small_file_{0}'.format(i * n), 'w') as fout: 
      fout.writelines(g) 

Answer 1

Просто используйте GroupBy, так что вам не нужно создавать 386972 итераторы:

from itertools import groupby 

n = 386972 
with open('reviewsNew.txt','rb') as f: 
    for idx, lines in groupby(enumerate(iterable), lambda (idx, _): idx // n): 
     with open('small_file_{0}'.format(idx * n), 'wb') as fout: 
      fout.writelines(l for _, l in lines)