Использование памяти при загрузке файлов через mmap()

Question

Хотелось узнать, что, если между максимальным объемом памяти, которое может быть использовано для сопоставления файла с помощью mmap(), и размерами ОЗУ в поле linux , Я попытался использовать карту памяти для некоторых файлов, и обнаружил, что я не могу отображать больше файлов, когда использование «Mapped» приближается к «MemTotal» (просматривается через cat/proc/meminfo).

С/Proc/MemInfo на 64-битной Linux, коробке:

MemTotal: 32909628 кБ

MemFree: +221744 кБ

Буферы: 1800 Кбайт

Подключенные: 31642928 кБ

CommitLimit: 38012616 kB

Committed_AS: 42641120 Кбайт

VmallocTotal: 536870911 кБ

VmallocUsed: 299920 кБ

VmallocChunk: 536568999 кБ

Итак, я прав, полагая, что "Подключенные" использование никогда не превысит «MemTotal». Смятение, которое у меня есть, я придерживаюсь мнения, что память всегда виртуальна, когда мы mmap файл.

Спасибо!

Answer 1

Нет, если у вас нет memlock() в памяти, вы, скорее всего, попадете в ограниченное адресное пространство для OS. Тот факт, что он аккуратно выходит на 32 ГБ, как и ваша оперативная память, скорее всего, является совпадением.

Edit: На самом деле, если вы используете MAP_PRIVATE, то вы можете быть действительно ударяя пределы памяти (опция MAP_PRIVATE учитывается как частное распределение, и поэтому должна быть физической памяти или подкачки, чтобы покрыть его, если агрессивный overcommit включен). Попробуйте использовать MAP_SHARED, если вы еще этого не сделали.

Answer 2

Вы можете сопоставить большие файлы в кусках, которые вписываются в память (см. Параметры len и off mmap).