предпочтительный метод запроса

Question

Что является более оптимальным способом чтения в переменных по столбцам и столбцам запроса. Вот что я сейчас делаю.

var lines = File.ReadAllLines("readme.csv").Select(a => a.Split(',')); 

//load columns into variables 
var col1 = from line in lines select line[1]; 
var col2 = from line in lines select line[2]; 
var col3 = from line in lines select line[3]; 
var col4 = from line in lines select line[4]; 

//query column 1 
foreach (string line in col1) 
{ //query if ... 
} 
//query column 2 
foreach (string line in col2) 
{ //query if ... 
} 
//query column 3 
foreach (string line in col3) 
{ //query if... 
} 

Answer 1

Что является более оптимальным способом для чтения в переменных столбцов и столбцов запроса.

Вы пытаетесь решить проблему, которая была решена раньше. Существует ряд нюансов с файлами CSV, связанными с экранированием и цитированием.

Я бы предложил использовать CSV Reader из Code Project.

http://www.codeproject.com/Articles/9258/A-Fast-CSV-Reader

Я использовал это экстенсивно с очень большими файлами данных (несколько Гб).

Используйте BufferedStream для достижения максимальной производительности:

using (FileStream fs = File.Open(csvPath, FileMode.Open, FileAccess.Read, FileShare.ReadWrite)) 
using (BufferedStream bs = new BufferedStream(fs)) 
using (CsvReader csv = new CsvReader(new StreamReader(bs), true)) 

Answer 2

ToList() предотвращает дублирование цикла, как ответил в комментарии