Уменьшение объема памяти программы python

Question

Я занимаюсь разработкой рабочего анализатора данных на питоне с использованием numpy и pandas. Я развожу много этих рабочих, поэтому я хочу сохранить его в легком весе.

Я попытался проверить с помощью этого кода:

import logging 
import resource 
logging.basicConfig(level=logging.DEBUG) 

def printmemory(msg): 
    currentmemory = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss 
    logging.debug(msg+': total memory:%r Mb' % (int(currentmemory)/1000000.)) 

printmemory('begin') 

#from numpy import array, nan, mean, std, sqrt, square 
import numpy as np 
printmemory('numpy') 

import pandas as pd 
printmemory('numpy') 

, и я узнал, что просто загрузив их в память сделает мой рабочий довольно тяжелый. Есть ли способ уменьшить объем памяти numpy и pandas?

В противном случае любое предложение по лучшему решению?

Answer 1

Извините, что сказал вам, но нет возможности загрузить в память только часть модуля python. Вы можете использовать многопоточность, если это применимо к вашему случаю - потоки могут использовать одну и ту же память модуля.

Answer 2

Я не уверен, какую проблему вы хотите решить, но если вам нужно парализовать numpy, возможно, pycuda может быть чем-то для вас. numpy и pandas прекрасно работают при параллелизации в cuda, но numpy будет загружаться только один раз в памяти, но запускается в нескольких процессах на графической карте. Подробнее об этом читайте здесь: https://developer.nvidia.com/pycuda