Как ограничить размер кучи?

Question

Я иногда пишу программы Python, которые очень трудно определить, сколько памяти он будет использовать перед выполнением. Таким образом, я иногда вызываю программу Python, которая пытается выделить огромное количество оперативной памяти, из-за чего ядро ​​сильно меняет местами и ухудшает производительность других запущенных процессов.

Из-за этого я хочу ограничить, сколько памяти куча Python может вырасти. Когда предел достигнут, программа может просто сработать. Каков наилучший способ сделать это?

Если это важно, много кода написано в Cython, поэтому оно должно учитывать выделенную память. Я не женат на чистом решении Python (его не нужно переносить), поэтому все, что работает в Linux, прекрасно.

Answer 1

Отъезд resource.setrlimit(). Он работает только в системах Unix, но похоже, что это может быть то, что вы ищете, так как вы можете выбрать максимальный размер кучи для вашего процесса и детей вашего процесса с параметром resource.RLIMIT_DATA.

EDIT: Добавление пример:

import resource 

rsrc = resource.RLIMIT_DATA 
soft, hard = resource.getrlimit(rsrc) 
print 'Soft limit starts as :', soft 

resource.setrlimit(rsrc, (1024, hard)) #limit to one kilobyte 

soft, hard = resource.getrlimit(rsrc) 
print 'Soft limit changed to :', soft 

Я не уверен, что ваш случай использования точно, но возможно вам необходимо поместить ограничение на размер стека, а не с resouce.RLIMIT_STACK. Пройдя этот предел, вы отправите сигнал SIGSEGV вашему процессу, и для его обработки вам потребуется использовать альтернативный стек сигналов, как описано в setrlimit Linux manpage. Я не уверен, что sigaltstack реализован на python, так что это может оказаться трудным, если вы хотите оправиться от перехода по этой границе.

Answer 2

Посмотрите на ulimit. Он позволяет устанавливать квоты ресурсов. Возможно, также нужны соответствующие настройки ядра.