Как размножить тензоры в Theano

Question

У меня есть два тензора и весовая матрица в Theano. Тензор A имеет размерность (k, 5, 40). Тензор B имеет размерность (k, 5, 40). Весовая матрица W имеет размерность (40,40). Я хотел бы вычислить A W B. Какова правильная последовательность операций тензора Теано для достижения этого? Обратите внимание, что k может меняться во время выполнения, но другие измерения фиксированы. Семантика мы хотим от W B является следующее:

Придумайте А как совокупность К (5,40) матриц. Назовите их A_1, ..., A_k Подумайте, что B является набором матриц k (5,40). Назовите их B_1, ..., B_k. Мы хотим найти A_ {i} * W * B_ {i}^{T} для всех i от 1 до k. Я пробовал использовать theano.tensor.dot, но это кажется довольно запутанным.

Обратите внимание, что это неэффективный способ использования функции сканирования. Но это сделает последовательный параллельный код последовательным.

Answer 1

Извините, но я не знаю, что вы имели в виду «сбивать с толку»?

Я попробовал использовать маленький футляр, надеюсь, он может представлять ваш случай. Dot-продукт с использованием theano.tensor.dot между трехмерный тензором и двумерный матрицы:

import numpy as np 
import theano 
import theano.tensor as T 

a = T.tensor3('a', dtype='int64') 
c = T.matrix('c',dtype='int64') 
d = T.dot(a,c) 

g = theano.function([a,c],d) 

x = np.array([[[1,2],[1,3]],[[2,2],[1,1]]], dtype=int) 
y = np.array([[1,2],[1,3]], dtype=int) 
print g(x,y) 

выход:

[[[ 3 8] 
    [ 4 11]] 

[[ 4 10] 
    [ 2 5]]] 

Он работает как ваша логика, матрица c сделать скалярное произведение только во втором и третьем измерения ,

UPDATE

что первый код выше, вы можете использовать для первой операции в вашем случае (A * W). Извините, я не рассчитываю тщательно, конечно, после этой операции выход становится трехмерным тензором. Итак, чтобы выполнить (AW) * B, вы должны использовать другой подход. Для выполнения умножения между двумя тремя мерными тензорами Я обычно с помощью сканирования:

import numpy as np 
import theano 
import theano.tensor as T 

a = T.tensor3('a', dtype='int64') 
c = T.tensor3('c',dtype='int64') 
d, b = theano.scan(lambda i: T.dot(a[i,:], c[i,:]),sequences=T.arange(2)) 
g = theano.function([a,c],d) 

x = np.array([[[1,2],[1,3]],[[2,2],[1,1]]], dtype=int) 
y = np.array([[[1,2],[1,3]],[[2,2],[1,1]]], dtype=int) 
print g(x,y) 

но я знаю, что есть другой подход, использующий theano.tensor.batched_dot (theano.tensor.dot Я думаю, что только для 2D и 1D массива). В вашем случае прописать код можно следующим образом:

e = T.batched_dot(a,c) 
g = theano.function([a,c],e) 

приведенный выше код дает те же результаты. Надеюсь, поможет.