Ограничение физической памяти на процесс

Question

Я пишу алгоритм для выполнения некоторых вычислений внешней памяти, т. Е. Когда ваши входные данные не вписываются в основную память, и вам приходится учитывать сложность ввода-вывода.

Поскольку для моих тестов я не всегда хочу использовать реальные входы Я хочу ограничить объем доступной памяти для моего процесса. То, что я нашел, что я могу установить параметр mem ядра, чтобы ограничить физически используемую память всех процессов (это правильно?)

Есть ли способ сделать то же самое, но с на предел процесса , Я видел ulimit, но он ограничивает только память за каждый процесс. Любые идеи (возможно, я могу даже установить ее программно из моего кода на C++)?

Answer 1

Вы можете попробовать: 'cgroups'. Чтобы использовать их, введите следующие команды: root.

# mkdir /dev/cgroups 
# mount -t cgroup -omemory memory /dev/cgroups 
# mkdir /dev/cgroups/test 
# echo 10000000 > /dev/cgroups/test/memory.limit_in_bytes 
# echo 12000000 > /dev/cgroups/test/memory.memsw.limit_in_bytes 
# echo <PID> > /dev/cgroups/test/tasks 

Где PID процесса, который вы хотите добавить в группу. Обратите внимание, что предел применяется к сумме всех процессов, назначенных этой группе.

С этого момента процессы ограничены 10 МБ физической памяти и 12 Мбайт pysical + swap.

В этом каталоге есть другие настраиваемые параметры, но точный список будет зависеть от используемой версии ядра.

Вы даже можете создавать иерархии ограничений, просто создавая подкаталоги.

Сгруппа наследуется, когда вы fork/exec, поэтому, если вы добавите оболочку из вашей программы, запущенной в группу, она будет назначена автоматически.

Обратите внимание, что вы можете монтировать группы в любом каталоге, а не только/dev/cgroups.

Answer 2

Я не могу дать прямой ответ, но, как правило, пишу свою собственную систему управления памятью, чтобы я мог полностью контролировать область памяти и сколько я выделяю. Это обычно применяется, когда вы пишете для микроконтроллеров. Надеюсь, поможет.

Answer 3

Я бы использовал setrlimti с параметром RLIMIT_AS, чтобы установить лимит виртуальной памяти (это то, что делает ulimit), а затем использовать процесс mlockall (MCL_CURRENT | MCL_FUTURE), чтобы заставить ядро ​​вызвать ошибку и заблокировать ее ОЗУ все страницы процесса, так что количество виртуальных == количество физической памяти для этого процесса

Answer 4

Kernel mem= параметр загрузки ограничивает объем памяти в общей ОС.

Это почти никогда не требуется пользователю.

Для физической памяти есть RSS rlimit aka RLIMIT_AS.

Answer 5

Вы считали, что пытаетесь использовать свой код в какой-то виртуальной среде? Виртуальная машина может быть слишком большой для ваших нужд, но что-то вроде User-Mode Linux может быть в хорошей форме. Это запускает ядро ​​Linux как единый процесс внутри вашей обычной операционной системы. Затем вы можете предоставить отдельную настройку ядра mem=, а также отдельное пространство подкачки для проведения контролируемых экспериментов.

Answer 6

Как уже отмечали другие плакаты, setrlimit является наиболее вероятным решением, оно контролирует пределы всех настраиваемых аспектов рабочей среды. Используйте эту команду, чтобы увидеть эти индивидуальные настройки вашего процесса оболочки:

ulimit -a 

Те, наиболее подходящие к вашему сценарию в результате выхода следующим образом:

data seg size   (kbytes, -d) unlimited 
max locked memory  (kbytes, -l) 64 
max memory size   (kbytes, -m) unlimited 
virtual memory   (kbytes, -v) unlimited 

Checkout страница справочника для setrlimit (» man setrlimit "), его можно вызывать программно из вашего кода C/C++. Я использовал его для хорошего эффекта в прошлом для контроля ограничений размера стека. (Кстати, для ulimit нет выделенной справочной страницы, на самом деле это встроенная команда bash, поэтому она находится на странице bash man.)