Исключение из памяти, пытаясь записать большой объем данных в файл

Question

Мне нужно записать большое количество несортированных данных (50000000 номеров) в файл. Во время выполнения я получаю OutOfMemoryException. Как это исправить?

private void backgroundWorkerGenNum_DoWork(object sender, DoWorkEventArgs e) 
{ 
    int numLimit = 50000000; 
    Random randomize = new Random(); 
    List<string> strNums = new List<string>(); 

    var array = Enumerable.Range(1, numLimit).ToArray(); 
    array = array.OrderBy(n => Guid.NewGuid()).ToArray(); 
    StreamWriter file = new StreamWriter("numbers.txt"); 
    int i = 0; 
    foreach(int element in array) 
    { 
     file.WriteLine(element); 
     ++i; 
     backgroundWorkerGenNum.ReportProgress(i); 
    } 
} 

Answer 1

Прежде всего, вы можете просто перетасовать свой массив так:

public static class ArrayExtender 
{ 
    public static void Shuffle<T>(this T[] a) 
    { 
     Random rand = new Random(); 
     for (int i = a.Length - 1; i > 0; i--) 
     { 
      int j = rand.Next(0, i + 1); 
      T tmp = a[i]; 
      a[i] = a[j]; 
      a[j] = tmp; 
     } 
    } 
} 

хорошо, теперь мы можем генерировать рандомизированное данные:

private void backgroundWorkerGenNum_DoWork(object sender, DoWorkEventArgs e) 
    { 
     int numLimit = 50000000; 

     var array = Enumerable.Range(1, numLimit).ToArray(); 
     array.Shuffle(); 
     int i = 0; 
     using(StreamWriter file = new StreamWriter("numbers.txt")) 
      foreach (int element in array) 
      { 
       file.WriteLine(element); 
       ++i; 
       backgroundWorkerGenNum.ReportProgress(i); 
      } 
    } 

Answer 2

Это очень неэффективный способ рандомизации набор чисел:

array = array.OrderBy(n => Guid.NewGuid()).ToArray(); 

Каждый новый Guid вы генерируете требует 16 Byes + несколько байт накладных расходов для магазина.

У вас есть номера 5 * 10^7, которые вы производите, злоупотребляя методом OrderBy.

OrderBy внутренне попытается сортировать вашу коллекцию, используя предоставленные вами ключи, которые требуют от нее выделить память для данных и ключей. Предполагая, что заказ хранит сгенерированный ключ вместе с каждым элементом, для этого потребуется более 1 ГБ места в памяти.

Answer 3

следует использовать метод воспроизведения в случайном порядке, как этот

private void Shuffle(int[] data) 
{ 
    var random = new Random(); 

    int n = data.Length; 
    for (int i = 0; i < n; i++) 
    { 
     int idx = random.Next(i, n); 

     int x = data[i]; 
     data[i] = data[idx]; 
     data[idx] = x; 
    } 
} 

вместо array.OrderBy(n => Guid.NewGuid()).ToArray()