Как векторизовать это умножение?

Question

У меня есть X-матрица с формой (ni * 43 * 91) x67 и тензор W с формой 67x43x91. ni меняется

Мне нужно получить вектор (ni * 43 * 91) y, усеяв первые ni строки X первым столбцом W, чтобы получить первые ni элементов y и вторых ni строк X с второй столбец W для получения вторых ni элементов y и т. д. и т. д. Когда у меня заканчиваются столбцы в W, я перехожу к следующему измерению и продолжаю.

У меня есть две маски dim2 и dim3, обе формы (ni * 43 * 91), в порядке. Сейчас это то, что я делаю (упрощенно), и это очень медленно

for d3 in range(91): 
    for d2 in range(43): 
    mask = ((dim3 == d3) & (dim2 == d2)) 
    curr_X = X[mask, :] 
    curr_W = W[:,d2,d3] 
    curr_y = numpy.dot(curr_X,curr_W) 
    y[mask] = curr_y 

Возможно ли это без петель для?

Answer 1

Я не совсем понимаю, что ваши dim2 и dim3 массивов, и как строятся mask, но из вашего описания, вы хотите что-то близкое к этому:

ni = 10 
a, b, c = 43, 91, 67 
X = np.random.rand(ni*a*b, c) 
W = np.random.rand(c, a, b) 

X = X.reshape(ni, a*b, c) 
W = W.reshape(c, a*b) 

y = np.einsum('ijk, kj -> ij', X, W) 
y = y.reshape(-1) 

Если вы обновляете ваш вопрос с рабочим код, то есть полное описание dim2 и dim3, мы можем точно настроить его, чтобы вернуть то же самое, если он этого еще не сделал.

Answer 2

Во-первых, неясно, что вы хотите делать, так как ваш код не работает. Я могу только догадываться вы хотите сделать это:

from numpy import * 
from numpy.random import rand 

ni=12 
A=67 
B=43 
C=91 


X = rand(ni*B*C,A) 
W = rand(A,B,C) 

y = zeros((ni*B*C)) 

for k in xrange(len(y)): 
    b = (k/ni)/C 
    c = (k/ni) % C 

    #print 'y[%i] = dot(X[%i,:],W[:,%i,%i])'%(k,k,b,c) 

    y[k] = dot(X[k,:],W[:,b,c]) 

Если вы просто установите A,B,C,ni в некоторых более низких значений и раскомментируйте print -LINE, вы будете быстро увидеть, что делает этот алгоритм.

Если это то, что вы хотите, то вы можете сделать это быстрее с этим однострочника:

y2 = sum(X * (W.reshape((A,B*C)).swapaxes(0,1).repeat(ni,axis=0)),axis=1) 

Несмотря на некоторый индекс-перестроек решающий трюк здесь заключается в использовании repeat, потому что в цикле индексы b,c «заморозить» для ni шагов, в то время как k растет.

Я немного спешу в данный момент, но если вам нужны дополнительные объяснения, просто оставьте комментарий.

Answer 3

Это довольно трудно понять из вопроса, что желаемый результат, но результат я думаю вы после этого можно получить довольно легко, как так:

y = (X.T * W[:,dim2,dim3]).sum(axis=0) 

Сравнение правильности и скорости:

еще

import numpy as np 

# some test data, the sorting isn't really necessary 
N1, N2, N3 = 67, 43, 91 
ni_avg = 1.75 
N = int(ni_avg * N2 * N3) 

dim2 = np.random.randint(N2, size=N) 
dim3 = np.sort(np.random.randint(N3, size=N)) 
for d3 in range(N3): 
    dim2[dim3==d3].sort() 

X = np.random.rand(N, N1) 
W = np.random.rand(N1, N2, N3) 

# original code 
def original(): 
    y = np.empty(X.shape[0]) 
    for d2 in range(W.shape[1]): 
     for d3 in range(W.shape[2]): 
      mask = ((dim3 == d3) & (dim2 == d2)) 
      curr_X = X[mask, :] 
      curr_W = W[:,d2,d3] 
      curr_y = numpy.dot(curr_X,curr_W) 
      y[mask] = curr_y 
    return y 

# comparison 
%timeit original() 
# 1 loops, best of 3: 672 ms per loop 
%timeit (X.T * W[:,dim2,dim3]).sum(axis=0) 
# 10 loops, best of 3: 31.8 ms per loop 
np.allclose(original(), np.sum(X.T * W[:,dim2,dim3], axis=0)) 
# True 

чуть быстрее будет использовать

y = np.einsum('ij,ji->i', X, W[:,dim2,dim3])