System.IO.Compression.ZipArchive управление памятью

Question

в .Net 4.5 класс System.IO.Compression.ZipArchive получает некоторые обновления.

Как можно читать здесь (http://msdn.microsoft.com/en-us/magazine/jj133817.aspx), теперь он должен выполнять «типичные операции, не требующие чтения всего архива в память».

Для тестирования я пытаюсь сжать 10 файлов, каждый размер 200 МБ.

Это хорошо работает, если вы создаете новые почтовые архивы с этим кодом (низкое потребление памяти за весь процесс):

for (int directoryGroupIndex = 0; directoryGroupIndex < directoryGroups.Count; directoryGroupIndex++) 
{ 
    String directoryGroupKey = directoryGroups.Keys.ElementAt(directoryGroupIndex); 
    FileInfo[] directoryGroup = directoryGroups[directoryGroupKey]; 

    String archiveFileName = String.Format("Readed Logfiles{0}", archiveFileExtension); 
    String archiveFileFullName = Path.Combine(directoryGroupKey, archiveFileName); 
    FileInfo archiveFile = new FileInfo(archiveFileFullName); 


    using (FileStream archiveFileStream = new FileStream(archiveFile.FullName, FileMode.OpenOrCreate, FileAccess.Write, FileShare.Read)) 
    using (ZipArchive archive = new ZipArchive(archiveFileStream, ZipArchiveMode.Create, false)) 
    { 
    for (int directoryGroupFileIndex = 0; directoryGroupFileIndex < directoryGroup.Length; directoryGroupFileIndex++) 
    { 
     FileInfo file = directoryGroup[directoryGroupFileIndex]; 
     String archiveEntryName = file.Name; 
     String archiveEntryPath = DateTime.Now.ToString("yyyy-MM-dd"); 
     String archiveEntryFullName = Path.Combine(archiveEntryPath, archiveEntryName); 

     ZipArchiveEntry archiveEntry = archive.CreateEntryFromFile(file.FullName, archiveEntryFullName, CompressionLevel.Optimal); 
    } 
    }    
} 

Теперь я хочу добавлять новые записи в этот архив. Я оставляю свой код так, как есть, и запускаю его снова. (с новыми файлами внутри корневого каталога). Если я загляну в документальный документ, то я прочитал «Разрешено только создание новых записей в архиве», что все, что я хочу. Поэтому мой код должен быть в порядке.

Результат теперь:

1. таблица файлов внутри архива перезаписываются (только новые файлы перечислены).

2. Размер архивного файла вырос (как и старые, все еще там).

3. Архив поврежден. Вы можете открыть его, но вы не можете декодировать контент.

Если изменить ZipArchiveMode на «ZipArchiveMode.Update» она работает, как ожидалось, но только с небольшими файлами. Файлы, подобные моему, выбрасывают исключение из памяти, поскольку полный архив загружается в память.

Мой вопрос сейчас. Я идиот и делаю это неправильно, это ошибка, или это ошибка дизайна.

Это приводит меня в норму!

Спасибо от германии за помощь Штеффен

Answer 1

Код, который вы написали, что вызывает ZipArchive класс, чтобы написать целый новый архив в конце вашего предыдущего, который, конечно, портит файл.

Способ сделать то, что вы хотите, это скопировать исходный архив в новый файл при его создании, а затем заменить оригинал на новый. Например:

string tempFile = Path.GetTempFileName(); 

using (ZipArchive original = 
    new ZipArchive(File.Open(archiveFileStream, FileMode.Open), ZipArchiveMode.Read)) 
using (ZipArchive newArchive = 
    new ZipArchive(File.Open(tempFile, FileMode.Create), ZipArchiveMode.Create)) 
{ 
    foreach (ZipArchiveEntry entry in original.Entries) 
    { 
     ZipArchiveEntry newEntry = newArchive.Create(entry.FullName); 

     using (Stream source = entry.Open()) 
     using (Stream destination = newEntry.Open()) 
     { 
      source.CopyTo(destination); 
     } 
    } 

    for (int directoryGroupFileIndex = 0; 
      directoryGroupFileIndex < directoryGroup.Length; 
      directoryGroupFileIndex++) 
    { 
     FileInfo file = directoryGroup[directoryGroupFileIndex]; 
     String archiveEntryName = file.Name; 
     String archiveEntryPath = DateTime.Now.ToString("yyyy-MM-dd"); 
     String archiveEntryFullName = Path.Combine(archiveEntryPath, archiveEntryName); 

     ZipArchiveEntry archiveEntry = newArchive.CreateEntryFromFile(
      file.FullName, archiveEntryFullName, CompressionLevel.Optimal); 
    } 
} 

File.Delete(archiveFileStream); 
File.Move(tempFile, archiveFileStream); 

Обратите внимание, что это на самом деле не собирается быть медленнее, чем ZipArchiveMode.Update. Когда вы используете режим обновления, класс ZipArchive читает весь архив в памяти (как вы отметили), а затем, когда вы его закрываете, он повторно сжимает и записывает все обратно.

Вышеупомянутые в основном точные вычисления, но просто используют диск в качестве промежуточного хранилища вместо памяти.