Numpy: Уменьшение объема памяти для точечного продукта со случайными данными

Question

У меня есть массив с большим количеством, который я собираюсь провести линейную проекцию с использованием случайно генерируемых значений.

>>> input_array.shape 
(50, 200000) 
>>> random_array = np.random.normal(size=(200000, 300)) 
>>> output_array = np.dot(input_array, random_array) 

К сожалению, random_array занимает много памяти, и моя машина начинает обменивать. Мне кажется, что мне действительно не нужно все сразу random_array; в теории, я должен был бы лениво генерировать его во время вычисления точечного продукта ... но я не могу понять, как это сделать.

Как уменьшить объем памяти для расчета output_array от input_array?

Answer 1

Это, очевидно, не является самым быстрым решением, но вы пробовали:

m, inner = input_array.shape 
n = 300 
out = np.empty((m, n)) 
for i in xrange(n): 
    out[:, i] = np.dot(input_array, np.random.normal(size=inner)) 

Answer 2

Это может быть ситуация, когда использование cython может уменьшить использование вашей памяти. Вы можете генерировать случайные числа «на лету» и накапливать результат по ходу дела. У меня нет времени писать и тестировать полную функцию, но вы обязательно захотите использовать randomkit (библиотека, которую numpy использует под капотом) на уровне c.

Вы посмотрите на какой-то пример кода, который я написал для другого приложения можно увидеть, как обернуть randomkit:

https://github.com/synapticarbors/pylangevin-integrator/blob/master/cIntegrator.pyx

А также проверить, как умножение матриц осуществляется в следующей статье на Cython:

http://conference.scipy.org/proceedings/SciPy2009/paper_2/full_text.pdf

Вместо того, чтобы оба массивы в качестве входов, просто input_array как один, а затем в способе, генерируют небольшие куски случайного массива, когда вы идете.

Извините, если это всего лишь эскиз вместо фактического кода, но, надеюсь, этого достаточно, чтобы вы начали.