Пользовательский градиент для цепочки ops

Question

У меня есть цепочка стандартных операций TensorFlow, и мне нужно указать собственный градиент для этой цепочки в целом.

Скажите, что в приведенном ниже примере эти операции сгруппированы в одну функцию Python: 'my_op'. То, что я пытаюсь сделать, это указать собственный градиент для «my_op». Я посмотрел на RegisterGradient, gradient_override_map и tf.Graph.create_op, но я не смог найти простой пример того, как использовать их для определения настраиваемого градиента для группы ops без перезаписи всей цепочки операций на C++.

import numpy as np 
import tensorflow as tf 

n = 2 
m = 3 
x = np.random.normal(size=(1, n)) 
A = tf.Variable(tf.truncated_normal(shape=(n, m), dtype=tf.float32)) 
b = tf.Variable(tf.zeros(shape=(1, m), dtype=tf.float32)) 

def my_op(a): 
    return tf.add(tf.matmul(a, A), b) 

x_placeholder = tf.placeholder(tf.float32,shape=[1, n]) 
t = my_op(tf.stop_gradient(x_placeholder)) 

grad = tf.gradients(t, [A]) 


sess = tf.Session() 
sess.run(tf.initialize_all_variables()) 

result = sess.run(grad, feed_dict={x_placeholder: x}) 

print(result) 

sess.close() 

Answer 1

Насколько я могу видеть, лучший способ вы можете определить пользовательский градиент (то есть. Дать некоторую модификацию равнинных градиентов), чтобы добавить новый пользовательский оп в tensorflow следующие this. Как вы можете видеть, для пользовательского op, выводящего вход, вы можете определить его градиенты в python, используя @ops.RegisterGradient("MyOp").