Как получить градиенты потери относительно активаций в Tensorflow

Question

В cifar10 например, градиенты потери по отношению к параметрам можно вычислить следующим образом:

grads_and_vars = opt.compute_gradients(loss) 
for grad, var in grads_and_vars: 
    # ... 

Есть ли способ, чтобы получить градиенты потери в отношении активации (а не параметры) и смотреть их в Tensorboard?

Answer 1

Вы можете использовать функцию tf.gradients() для вычисления градиента любого скалярного тензора по отношению к любому другому тензора (предполагая, что градиенты определяются для всех OPS между этими двумя тензорами):

activations = ... 
loss = f(..., activations) # `loss` is some function of `activations`. 

grad_wrt_activations, = tf.gradients(loss, [activation]) 

Визуализируя это в TensorBoard сложно, поскольку grad_wrt_activation (обычно) представляет собой тензор с той же формой, что и activation. Добавление tf.histogram_summary() op, вероятно, самый простой способ визуализации

# Adds a histogram of `grad_wrt_activations` to the graph, which will be logged 
# with the other summaries, and shown in TensorBoard. 
tf.histogram_summary("Activation gradient", grad_wrt_activations)