Работа с большими файлами csv

Question

Я пытаюсь найти некоторые из лучших способов работы с большими файлами данных. У меня есть сценарий, где у меня будет несколько CSV-файлов, из которых я хотел бы получить возможность запрашивать данные. Один из файлов csv я буду читать по строкам, но мне нужно иметь возможность запрашивать второй файл CSV на основе ключа из строки, которую я сейчас читаю. Я не хочу (по крайней мере, не думаю) загружать весь CSV в объект памяти, поскольку они могут быть миллионы строк и будут потреблять тонны ОЗУ. Я подумывал о том, чтобы писать их в какой-то файл базы данных «на лету», но это просто не кажется эффективным, поскольку вы по существу дублируете данные. Какие-либо предложения?

Answer 1

Вы можете попробовать OleDb, загрузить данные в таблицу данных с помощью адаптера данных и выполнить запрос на нее. Это link объяснил

String conn = @"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=C:\; 
    Extended Properties=""Text;HDR=No;FMT=Delimited"""; 

OleDbConnection cn = new OleDbConnection(conn); 
OleDbCommand cmd = new OleDbCommand(@"SELECT * FROM C:\Temp\teams.csv", cn); 
OleDbDataAdapter da = new OleDbDataAdapter(cmd); 

cn.Open(); 

DataTable dt = new DataTable(); 

da.Fill(dt);