Измерьте общий объем оперативной памяти, доступной для приложения

Question

У меня есть синтаксический анализ данных. Я работаю над явным размером текстовых файлов, которые он читает, и управление памятью является ключевым для хорошей производительности. Стратегия двух частей здесь сначала измеряет, сколько ОЗУ каждого файла будет способствовать сумме, но также необходимо знать, сколько оперативной памяти доступно для приложения в данный момент времени. Если доступно достаточное количество ОЗУ, приложение предпочитает выполнять свою обработку в памяти. В противном случае он переключается на режим, который выполняет все или большинство операций на диске.

Измерение взноса файла на использование памяти быстро и легко:

static Int64 GetSizeInMemory(string path) 
    { 
     //THIS CODE IS SPEEDY 
     Int64 r = ((Func<Int64>)(
        () => 
         { 
          try 
          { 
           using (Stream s = new MemoryStream()) 
           { 
            BinaryFormatter formatter = new BinaryFormatter(); 
            formatter.Serialize(s, File.ReadAllLines(path)); 
            return s.Length; 
           } 
          } 
          catch 
          { 
           //this file is way too big 
           return -1; 
          } 
         } 
       ))(); 
     GC.Collect(); 
     GC.WaitForPendingFinalizers(); 
     return r; 
    } 

Однако измерения общего объема памяти, доступной является медленным и трудным. В этом случае я попытался сделать это, захватив ошибку переполнения стека, которая, по моему мнению, должна дать самую надежную цифру.

static Int64 GetMaxAllowedMemory() 
    { 
     //THIS CODE IS SLOW 
     Int64 r = ((Func<Int64>)(
        () => 
         { 
          byte[] b = new byte[]{}; 
          Int64 rs = 0; 
          while (true) 
          { 
           try 
           { 
            Array.Resize<byte>(ref b, b.Length + 1); 
            b[b.Length - 1] = new byte(); 
            rs = b.Length; 
           } catch (Exception e) { 
            break; 
           } 
          } 
          b = null; 
          return rs; 
         } 
       ))(); 
     GC.Collect(); 
     GC.WaitForPendingFinalizers(); 
     return r; 
    } 

Есть ли лучший подход, который я должен использовать здесь?

Обращаем внимание,. Я рассмотрел ряд вопросов, подобных этому при переполнении стека, но большинство имеет дело только с получением фигуры для общего объема доступной ОЗУ на компьютере, что не совпадает с Максимальный объем оперативной памяти во время выполнения разрешен для .NET-процесса.

UPDATE

После получения ответа, я придумал следующее, что позволяет мне, чтобы получить общее количество оперативной памяти, доступной для применения.

static Int64 GetMemoryFailPoint() 
    { 
     Int64 r = ((Func<Int64>)(
        () => 
        { 
         int rs = 1; 
         while (true) 
         { 
          try 
          { 
           using (new System.Runtime.MemoryFailPoint(rs)) 
           { 
           } 
          } 
          catch { 
           break; 
          } 
          rs++; 
         } 
         return Convert.ToInt64(rs) * 1000000; 
        } 
       ))(); 
     return r; 
    } 

Answer 1

Вы можете попробовать использовать MemoryFailPoint класс:

try 
{ 
    using (new System.Runtime.MemoryFailPoint(1024)) // 1024 megabytes 
    { 
     // Do processing in memory 
    } 
} 
catch (InsufficientMemoryException) 
{ 
    // Do processing on disk 
} 

---

На основе этого original post.

Answer 2

Вместо того чтобы прочесть весь файл в памяти и посмотреть, не сработает ли он или нет, вы можете использовать команду MemoryFailPoint, чтобы проверить, достаточно ли свободного места для работы в памяти, используя размер файла на диске.

void ProcessFile(string path) 
{ 
    try 
    { 
     var fileInfo = new FileInfo(path); 
     var fileSizeInMb = (int)(fileInfo.Length >> 20); 
     using (new System.Runtime.MemoryFailPoint(fileSizeInMb)) 
     { 
      // Do processing in memory 
     } 
    } 
    catch (InsufficientMemoryException) 
    { 
     // Do processing on disk 
    } 
}