Разбор больших файлов с разделителями с динамическим числом столбцов

Question

Каким будет лучший подход к анализу файла с разделителями, когда столбцы неизвестны до разбора файла?

Формат файла Rightmove v3 (.blm), структура выглядит следующим образом:

#HEADER# 
Version : 3 
EOF : '^' 
EOR : '~' 
#DEFINITION# 
AGENT_REF^ADDRESS_1^POSTCODE1^MEDIA_IMAGE_00~ // can be any number of columns 
#DATA# 
agent1^the address^the postcode^an image~ 
agent2^the address^the postcode^^~  // the records have to have the same number of columns as specified in the definition, however they can be empty 
etc 
#END# 

файлы потенциально могут быть очень большими, например, файл у меня есть 40Mb, но они могут быть несколько сот мегабайта , Ниже приведен код, который я начал, прежде чем я понял, что столбцы были динамическими, я открываю поток, когда я читал, что это лучший способ обработки больших файлов. Я не уверен, что моя идея поместить каждую запись в список, тогда обработка - это все-таки хорошо, не знаю, будет ли это работать с такими большими файлами.

List<string> recordList = new List<string>(); 

try 
{ 
    using (FileStream fs = new FileStream(path, FileMode.Open, FileAccess.Read)) 
    { 
     StreamReader file = new StreamReader(fs); 
     string line; 
     while ((line = file.ReadLine()) != null) 
     { 
      string[] records = line.Split('~'); 

      foreach (string item in records) 
      { 
       if (item != String.Empty) 
       { 
        recordList.Add(item); 
       } 
      } 

     } 
    } 
} 
catch (FileNotFoundException ex) 
{ 
    Console.WriteLine(ex.Message); 
} 

foreach (string r in recordList) 
{ 
    Property property = new Property(); 

    string[] fields = r.Split('^'); 

    // can't do this as I don't know which field is the post code 
    property.PostCode = fields[2]; 
    // etc 

    propertyList.Add(property); 
} 

Любые идеи о том, как это сделать лучше? Это C# 3.0 и .Net 3.5, если это помогает.

Спасибо,

Annelie

Answer 1

Если вы можете вырезать некоторые из линий на старте (содержание заголовка и # ххх # линия), то это просто CSV файл с ^ в качестве разделителя, так что любой CSV reader class будет делать трюк.

Answer 2

Вы можете сделать это несколько способов.

1. Если свойства ваших объектов имеют то же имя, что и столбцы в файле данных, вы можете использовать отражение, чтобы определить, какие столбцы должны быть сопоставлены с какими свойствами.
2. Если свойства на ваших объектах имеют разные имена, тогда вы можете написать схему пользовательского сопоставления, которая будет указывать «для столбца X, назначить свойство Y».
3. Вы можете создать пользовательские атрибуты для свойств объекта, которые указывают, к какому имени столбца они относятся, и использовать отражение для чтения этих атрибутов.

Все эти шаги предполагают, что имена столбцов в ваших файлах данных будут одинаковыми для данных, которые они представляют (то есть ADDRESS_1 всегда будет именем столбца для данных «адресной строки один»).