Как предотвратить переполнение памяти при использовании IEnumerable <T> и Linq-To-Sql?

Question

Этот вопрос связан с a previous question of mine

Это мой текущий код

IEnumerable<Shape> Get() 
{ 
    while(//get implementation 
     yield return new Shape(//... 
} 

void Insert() 
{ 
     var actual = Get(); 
     using (var db = new DataClassesDataContext()) 
     { 
      db.Shapes.InsertAllOnSubmit(actual); 
      db.SubmitChanges(); 
     } 
} 

Я получаю переполнение памяти, так как IEnumerable слишком велик. Как я могу предотвратить это?

Answer 1

Используйте InsertOnSubmit, а не InsertAllOnSubmit. И затем совершите соответствующие промежутки времени, как сказал Эрих.

Или, если вы хотите сделать это партиями, например. 5, попробуйте Handcraftsman's или dtb's решения для получения IEnumerable в IEnumerable. Например, с Chunk DTB по:

var actual = Get(); 
    using (var db = new DataClassesDataContext()) 
    { 
     foreach(var batch in actual.Chunk(5)) 
     { 
     db.Shapes.InsertAllOnSubmit(batch); 
     db.SubmitChanges(); 
     } 
    } 

Answer 2

Один из вариантов - разбить его на несколько партий. Создайте временный буфер Shape объектов, итерации до тех пор, пока вы его не заполните или не закончите из перечислителя, затем выполните InsertBatchOnSubmit.

Answer 3

Для аккуратного способа получить партии деталей из IEnumerable, увидеть это:

C#: Cleanest way to divide a string array into N instances N items long

Update: Нет хороший, который работает на массивах. Если у меня есть некоторое время спустя, и никто еще не предоставил что-то, я напишу его ...

Answer 4

Используйте следующий метод расширения, чтобы разорвать вход надлежащего размера подмножеств

public static class IEnumerableExtensions 
{ 
    public static IEnumerable<List<T>> InSetsOf<T>(this IEnumerable<T> source, int max) 
    { 
     List<T> toReturn = new List<T>(); 
     foreach(var item in source) 
     { 
      toReturn.Add(item); 
      if (toReturn.Count == max) 
      { 
       yield return toReturn; 
       toReturn = new List<T>(); 
      } 
     } 
     if (toReturn.Any()) 
     { 
      yield return toReturn; 
     } 
    } 
} 

затем сохраняться подмножества

void Insert() 
{ 
    var actual = Get(); 
    using (var db = new DataClassesDataContext()) 
    { 
     foreach (var set in actual.InSetsOf(5)) 
     { 
      db.Shapes.InsertAllOnSubmit(set); 
      db.SubmitChanges(); 
     } 
    } 
} 

Вы также можете найти на this MSDN article InsertOnSubmit() против InsertAllOnSubmit(), чтобы быть полезным.