Чтение очень большие файлы .xml.bz2

Question

Я хотел бы разобрать .xml.bzip2 Викимедиа свалках без извлечения всего файла или выполнения каких-либо XML проверки:

var filename = "enwiki-20160820-pages-articles.xml.bz2"; 

var settings = new XmlReaderSettings() 
{ 
    ValidationType = ValidationType.None, 
    ConformanceLevel = ConformanceLevel.Auto // Fragment ? 
}; 

using (var stream = File.Open(filename, FileMode.Open)) 
using (var bz2 = new BZip2InputStream(stream)) 
using (var xml = XmlTextReader.Create(bz2, settings)) 
{ 
    xml.ReadToFollowing("page"); 
    // ... 
} 

В BZip2InputStream работает - если я использую StreamReader , Я могу читать XML по строкам. Но когда я использую XmlTextReader, он терпит неудачу при попытке выполнить чтение:

System.Xml.XmlException: «Неожиданный конец файла произошла. Следующие элементы не закрыты: mediawiki. Строка 58, позиция 1. '

Поток bzip: не на EOF. Возможно ли открыть XmlTextReader поверх потока BZip2? Или есть другие способы сделать это?

Answer 1

Это должно сработать. Я использовал комбинацию XmlReader и Xml Linq. Вы можете проанализировать документ XElement по мере необходимости.

using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Text; 
using System.Xml; 
using System.Xml.Linq; 


namespace ConsoleApplication29 
{ 
    class Program 
    { 
     const string URL = @"https://dumps.wikimedia.org/enwiki/20160820/enwiki-20160820-abstract26.xml"; 
     static void Main(string[] args) 
     { 
      XmlReader reader = XmlReader.Create(URL); 

      while (!reader.EOF) 
      { 
       if (reader.Name != "doc") 
       { 
        reader.ReadToFollowing("doc"); 
       } 
       if (!reader.EOF) 
       { 
        XElement doc = (XElement)XElement.ReadFrom(reader); 
       } 
      } 

     } 
    } 
}