Как вы разархивируете очень большие файлы в python?

Question

Используя python 2.4 и встроенную библиотеку ZipFile, я не могу читать очень большие ZIP-файлы (более 1 или 2 ГБ), потому что он хочет хранить все содержимое несжатого файла в памяти. Есть ли другой способ сделать это (либо с помощью сторонней библиотеки, либо с помощью какого-либо другого хака), или я должен «развернуть» и разархивировать его таким образом (что явно не является кросс-платформенным).

Answer 1

Вот схема декомпрессии больших файлов.

import zipfile 
import zlib 
import os 

src = open(doc, "rb") 
zf = zipfile.ZipFile(src) 
for m in zf.infolist(): 

    # Examine the header 
    print m.filename, m.header_offset, m.compress_size, repr(m.extra), repr(m.comment) 
    src.seek(m.header_offset) 
    src.read(30) # Good to use struct to unpack this. 
    nm= src.read(len(m.filename)) 
    if len(m.extra) > 0: ex= src.read(len(m.extra)) 
    if len(m.comment) > 0: cm= src.read(len(m.comment)) 

    # Build a decompression object 
    decomp= zlib.decompressobj(-15) 

    # This can be done with a loop reading blocks 
    out= open(m.filename, "wb") 
    result= decomp.decompress(src.read(m.compress_size)) 
    out.write(result) 
    result = decomp.flush() 
    out.write(result) 
    # end of the loop 
    out.close() 

zf.close() 
src.close() 

Answer 2

На Python 2.6, вы можете использовать ZipFile.open() открыть дескриптор файла на файл, и эффективно копировать содержимое целевого файла по вашему выбору:

import errno 
import os 
import shutil 
import zipfile 

TARGETDIR = '/foo/bar/baz' 

with open(doc, "rb") as zipsrc: 
    zfile = zipfile.ZipFile(zipsrc) 
    for member in zfile.infolist(): 
     target_path = os.path.join(TARGETDIR, member.filename) 
     if target_path.endswith('/'): # folder entry, create 
      try: 
       os.makedirs(target_path) 
      except (OSError, IOError) as err: 
       # Windows may complain if the folders already exist 
       if err.errno != errno.EEXIST: 
        raise 
      continue 
     with open(target_path, 'wb') as outfile, zfile.open(member) as infile: 
      shutil.copyfileobj(infile, outfile) 

Это использует shutil.copyfileobj() для эффективного чтения данные из открытого объекта zipfile, копируя его в выходной файл.