Как создать кеширование/свопинг/в кеше памяти

Question

Я хотел бы реализовать что-то вроде FancyCache или SuperCache.

Программное обеспечение создает файл подкачки. Диск IO является узким местом. Мне нужно иметь некоторые файлы в ОЗУ, потому что мне нужно, чтобы они были быстрыми.

Мне не нужен полный файл, только некоторые блоки. Я не помещаю весь файл в RAM-диск, потому что он составляет около 40 ГБ. Но есть некоторые блоки этого файла, которые должны быть в памяти.

Программные продукты, о которых я упоминал, делают это с наиболее частыми файлами. Но мне нужно сделать это только с одним файлом.

Это место для виртуальной среды.

Есть ли у вас какие-либо руководства о том, как я могу создать такой вид кэша, имитирующий файл подкачки Windows?

Answer 1

Вы описывали сохраненные файлы с отображением памяти. Файл будет отображаться в вашу виртуальную память, и операционная система должна считывать и кэшировать элементы с физического диска.

Подробнее о MSDN: Memory-Mapped Files

Answer 2

Что я хотел бы сделать, это начать с классом, как это:

public class SwapData 
{ 
    public const int BlockSize = 1024; 

    private int HotCount { 
     get; 
     set; 
    } 

    private long Offset { 
     get; 
     set; 
    } 

    private byte[] Data { 
     get; 
     set; 
    } 

    private string FileName { 
     get; 
     set; 
    } 
} 

public class SwapFile 
{ 
    private List<SwapData> _swapData; 

    public string SwapFileName 
    { get; set; } 

    public byte[] ReadData(string fileName, long offset, int numBytes) 
    { 
     if (!Cached(fileName, offset)) 
     { 
      return StoreCache(fileName, offset); 
     } else return Cache(fileName, offset, numBytes); 
    } 

    private bool Cached(string fileName, long offset) 
    { 
     return _swapData.Any(z => z.FileName.ToLower().Equals(fileName.ToLower()) && z.Offset >= offset); 
    } 

    private byte[] StoreCache(string fileName, long offset) 
    { 
     using (var bw = new BinaryReader(File.Open(fileName, FileMode.Open))) 
     { 
      bw.BaseStream.Seek(offset, SeekOrigin.Begin); 
      var sd = new SwapData(); 
      sd.HotCount = 0; 
      sd.Office = offset; 
      sd.FileName = fileName; 
      sd.Data = bw.ReadBytes(sd.BlockSize); 
      _swapData.Add(sd); 
      return sd.Data; 
     } 
    } 

    private byte[] Cache(string fileName, long offset, int numBytes) 
    { 
     byte[] data = _swapData.FirstOrDefault(z => z.FileName.ToLower().Equals(fileName.ToLower()) && z.Offset >= offset).Data; 

     byte[] target = new byte[numBytes]; 
     Array.Copy(data,target,numBytes); 
     return target; 
    } 

Я не проверял это, но она бы что-то подобное ^^^