быстрый способ для поиска строки в большой CSV-файл C#

Question

Я имею

• DataTable (столбцы AccId и TerrName), который содержит более 2000 строк.
• большой файл csv (столбцы AccId и External_ID), содержащие более 6 миллионов записей.

Теперь мне нужно сопоставить AccId и найти его соответствующий External_ID из файла csv.

В настоящее время я его достижения, используя ниже код:

DataTable tblATL = Util.GetTable("ATL", false); 
tblATL.Columns.Add("External_ID"); 

DataTable tbl = Util.CsvToTable("TT.csv", true); 

foreach (DataRow columnRow in tblATL.Rows) 
{ 
    var query = tbl.Rows.Cast<DataRow>().FirstOrDefault(x => x.Field<string>("AccId") == columnRow["AccId"].ToString()); 
    if (query != null) 
    { 
     columnRow["External_ID"] = query.Field<string>("External_ID"); 
    } 
    else 
    { 
     columnRow["External_ID"] = "New"; 
    } 
} 

Этот код работает хорошо, но только проблема является проблемой производительности, его принимать очень и очень много времени, чтобы получить результат.

Пожалуйста, помогите. Как я могу улучшить свою производительность, есть ли у вас какой-либо другой подход?

Answer 1

Предлагаю организовать данные в словаре , скажем, Dictionary<String, String[]>, который имеет O(1) сложность времени, например.

Dictionary<String, String[]> Externals = File 
    .ReadLines(@"C:\MyFile.csv") 
    .Select(line => line.Split(',')) // the simplest, just to show the idea 
    .ToDictionary(
     items => items[0], // let External_ID be the 1st column 
     items => items // or whatever record representation 
    ); 

    .... 

    String externalId = ... 

    String[] items = Externals[externalId]; 

EDIT: если же External_ID может оказаться более , чем когда-то (см комментарии ниже) вы должны иметь дело с дубликатами, например

var csv = File 
    .ReadLines(@"C:\MyFile.csv") 
    .Select(line => line.Split(',')) // the simplest, just to show the idea 

Dictionary<String, String[]> Externals = new Dictionary<String, String[]>(); 

foreach (var items in csv) { 
    var key = items[0]; // let External_ID be the 1st column 
    var value = items; // or whatever record representation 

    if (!Externals.ContainsKey(key)) 
    Externals.Add(key, value); 
    // else { 
    // //TODO: implement, if you want to deal with duplicates in some other way 
    //} 
}