Реформат и разбор огромного текстового файла в C#

Question

У меня есть код для синтаксического анализа текстового файла после выполнения переформатирования.

foreach (string file in Directory.EnumerateFiles(folderPath, "*.*")) 
{ 
    contents = contents + File.ReadAllText(file).Replace("&gt;", ">").Replace("&lt;", "<").Replace("&quot;", "'"); 
    pos = contents.LastIndexOf("</event>"); 
    contents = contents.Substring(0, pos + 8); 
} 

contents = "<?xml version=\"1.0\" encoding=\"utf-8\"?><root>" + contents + "</root>"; 

XDocument doc = new XDocument(); 
doc = XDocument.Parse(contents); 

Файл содержит теги XML, но не отформатирован должным образом. Следовательно, я переформатирую и сохраняю в строковой переменной contents. Эта строка загружается в объект XDocument, и программа работает плавно для небольших файлов (7-10 МБ).

Теперь есть файлы, которые более 100MB в размерах и разрывы кода с из памяти exception.My разрывов кода на

contents = contents + File.ReadAllText(file).Replace("&gt;", ">").Replace("&lt;", "<").Replace("&quot;", "'"); 

Какие альтернативы у меня есть, чтобы сделать ту же операцию с эффективным файлом обработки.

Answer 1

Вы не сможете работать с файлами более 100 МБ с помощью XDocument, поскольку он хранит все в памяти и выполняет все операции в памяти. Для этого используйте XmlReader.

Answer 2

Как уже указывалось, ключ заключается в использовании потоковой передачи вместо полных операций с оперативной памятью.

Вы можете создать собственный TextReader подкласс FormattingReader, который оборачивает StreamReader или подобное и выполняет свой процесс форматирования на лету во время чтения:

• Вывод XML заголовка
• Выход открытие <root> тег
• Итерации над вашими файлами:
  • Когда вы видите < или > на обернутом re Адер, выходные угловые скобки вместо
  • Когда вы видите </event> тег, рассматривать его как конец файла
• Выход закрытия </root>

Затем используйте XmlReader.Create() перегрузку, которая принимает TextReader и передать экземпляр вашего FormattingReader.