File.ReadLines выбрасывает OutOfMemoryException

Question

У меня странная проблема, по которой я не могу найти решение. Я пытаюсь прочитать большие файлы (от 500 МБ до 2 ГБ) кусками 8М строк.

Для этого я создал следующее:

public static List<string> read_file(string path, Int32 start, Int32 end, Boolean is_big_file) 
{ 
    try 
    { 
     List<string> lines = new List<string>(); 

     if (is_big_file) 
      lines = File.ReadLines(path).Skip(start).Take(end - start).ToList(); 
     else 
      lines = File.ReadAllLines(path).ToList(); 

     return lines; 
    } 
    catch { return null; } 
} 

Если файл имеет меньше 8M линий, ReadAllLines используется, и все работает. Если файл больше, он будет использовать ReadLines.Skip.Take.

Первый кусок работает, я получаю первые 8 M строк. Старт = 0. конец = 8 000 000.

Второй кусок не работает. старт = 8,000,000. end = 16 000 000 или последняя строка файла (в зависимости от количества строк). По какой-то причине я получаю OutOfMemoryException, когда у меня есть менее 8M строк для чтения (end = 12,500,000).

У вас есть идеи, почему это происходит? Пропускает ли кеширует исходные строки? Есть ли более элегантное решение?

Спасибо!

Answer 1

На самом деле, с помощью этого:

File.ReadLines(path) 

Вы читаете ВСЕ линии. Вам лучше использовать FileStream и Seek в байтах, которые вы хотите прочитать. Что-то вроде этого:

using (FileStream fs = new FileStream(path, FileMode.Open)) 
{ 
    fs.Seek(start, SeekOrigin.Begin); 
    TextReader tr = new StreamReader(fs); 

    string line = tr.ReadLine(); 
}