Разделить большой файл на более мелкие файлы по количеству строк в C#?

Question

Я пытаюсь выяснить, как разделить файл на количество строк в каждом файле. Это файлы csv, и я не могу сделать это по байтам. Мне нужно сделать это по линиям. 20k кажется хорошим числом для каждого файла. Каков наилучший способ чтения потока в данной позиции? Stream.BaseStream.Position? Итак, если бы я прочитал первые 20k строк, я бы начал позицию на 39999? Откуда я знаю, что я почти в конце файлов? Спасибо всем

Answer 1

using (System.IO.StreamReader sr = new System.IO.StreamReader("path")) 
{ 
    int fileNumber = 0; 

    while (!sr.EndOfStream) 
    { 
     int count = 0; 

     using (System.IO.StreamWriter sw = new System.IO.StreamWriter("other path" + ++fileNumber)) 
     { 
      sw.AutoFlush = true; 

      while (!sr.EndOfStream && ++count < 20000) 
      { 
       sw.WriteLine(sr.ReadLine()); 
      } 
     } 
    } 
} 

Answer 2

Я хотел бы сделать это следующим образом:

// helper method to break up into blocks lazily 

public static IEnumerable<ICollection<T>> SplitEnumerable<T> 
    (IEnumerable<T> Sequence, int NbrPerBlock) 
{ 
    List<T> Group = new List<T>(NbrPerBlock); 

    foreach (T value in Sequence) 
    { 
     Group.Add(value); 

     if (Group.Count == NbrPerBlock) 
     { 
      yield return Group; 
      Group = new List<T>(NbrPerBlock); 
     } 
    } 

    if (Group.Any()) yield return Group; // flush out any remaining 
} 

// now it's trivial; if you want to make smaller files, just foreach 
// over this and write out the lines in each block to a new file 

public static IEnumerable<ICollection<string>> SplitFile(string filePath) 
{ 
    return File.ReadLines(filePath).SplitEnumerable(20000); 
} 

Разве это не достаточно для вас? Вы говорите о переходе с позиции на позицию, но я не понимаю, почему это необходимо.

Answer 3

int index=0; 
var groups = from line in File.ReadLines("myfile.csv") 
      group line by index++/20000 into g 
      select g.AsEnumerable(); 
int file=0; 
foreach (var group in groups) 
     File.WriteAllLines((file++).ToString(), group.ToArray());