Как эффективно умножать список видов NumPy с соответствующими весами?

Question

Я столкнулся с проблемой памяти и скорости, используя NumPy, но моя проблема довольно проста.

• A - большой массив NumPy из H * W целых чисел.
• V - это список, содержащий N виды большого массива A, каждый вид, как то же (Hv, Wv) форму.
• K - еще один список, содержащий N плавающие грузы, соответствующие представлениям.

Hv являются Wv почти равны H и W, но меньше. Поскольку NumPy views не являются копиями, это хорошо для управления памятью, даже если N большой.

Теперь я хочу, чтобы вычислить новый массив, используя для вещания скорости: B = V * K + ... + V _N * K _N

Этот приведет к созданию нового взвешенного массива Hv * Wv.

Проблема в том, что я не знаю, как выполнить такую ​​операцию, не создавая промежуточные массивы в памяти (что и происходит, когда представление умножается на соответствующий вес) и при этом выигрывает от широковещательных операций.

import numpy as np 

H = W = 1000 
Hv = Wv = 900 
N = 100 

A = np.arange(H * W).reshape(H, W) 

V = [A[i:Hv + i, i:Wv + i] for i in range(N)] 

K = np.random.rand(N) 

# It neither uses speed broadcast nor low memory! 
B = sum(v*k for v, k in zip(V, K)) 

Может ли кто-нибудь помочь мне разумно использовать NumPy, пожалуйста?

Answer 1

Я принимаю, что V указан как список, и у нас нет доступа к оптимизации его создания или просто не нужно. Итак, A находится вне уравнения, и мы остаемся с V и K, чтобы получить окончательный вывод B и, таким образом, оставим с оптимизацией последний шаг.

Чтобы решить эту проблему, мы можем просто использовать np.tensordot, чтобы заменить последний шаг суммирования, поскольку это в основном сокращение суммы умножения матрицы. В нашем случае мы уменьшаем первую ось от K и по длине списка ввода V. Внутренне NumPy преобразует список в массив тензоров NumPy, и эта длина станет первой осью его версии массива. Таким образом, мы бы уменьшение первой оси от обоих входов и, следовательно, реализация будет -

B = np.tensordot(K,V,axes=[0,0]) # `axes` indicates the axes to be sum-reduced 

Пожалуйста, обратите внимание, что внутреннее преобразование списка в NumPy массив не может быть недорогой и, как таковой, он будет иметь больше смысла для создания V с использованием инициализации в виде массива NumPy, а не в понимании цикла, которое приведет к списку.