Буферизация на жесткий диск

Question

Я получаю большое количество данных по фиксированной ставке. Мне нужно сделать некоторую обработку этих данных в другом потоке, но это может работать медленнее, чем данные поступают, поэтому мне нужно буферизовать данные. Из-за количества данных, поступающих в доступную ОЗУ, будет быстро исчерпано, поэтому он должен переполняться на жесткий диск. То, что я могу сделать, - это что-то вроде файла с поддержкой файловой системы, поэтому писатель может быть заблокирован файловой системой, но не слишком медленным.

Вот приблизительный набор требований:

• Запись не должна быть заблокирована читателем работает слишком медленно.
• Если данные считаются достаточно медленными, чтобы освобожденная ОЗУ была исчерпана, она должна переполняться в файловую систему. Это нормально для записи на диск для блокировки.
• Чтение должно блокироваться, если данные отсутствуют, если поток не был закрыт писателем.
• Если читатель может идти в ногу с данными, он никогда не должен попадать на жесткий диск, поскольку буфер ОЗУ будет достаточным (приятным, но не существенным).
• Место на диске должно быть восстановлено по мере того, как данные будут потребляться (или вскоре после этого).

Существует ли такой механизм в Windows?

Answer 1

Это выглядит как классическая очередь сообщений. Вы рассматривали MSMQ или подобное? У MSMQ есть все свойства, о которых вы просите. Вы можете использовать прямую адресацию, чтобы избежать использования Active Directory http://msdn.microsoft.com/en-us/library/ms700996(v=vs.85).aspx и использовать локальный адрес или адрес очереди TCP/IP.

Answer 2

Используйте фактический файл. Напишите в файл, когда данные будут получены, а в другом процессе прочитайте данные из файла и обработайте его.

Вы даже получаете дополнительные преимущества без многопоточности.