2016-07-04 15 views
3

Есть ли оп, что:Шкала градиента оп в Tensorflow

  1. При выполнении в виде графика, выводит его входной тензор как есть.
  2. При сборке ОПС для вычисления градиентов, масштабировать входящий градиент с заданным постоянным

нечто похожее на tf.stop_gradient, но вместо того, чтобы градиент к нулю, масштабировать его с помощью указанной константы ,

Если такой операции нет, то каким будет самый простой способ достичь такого поведения?

ответ

3

Самый простой способ, который я мог придумать, - предварительно обработать градиенты перед применением. Вы можете увидеть, как это сделать в документации here.


Или вы могли бы сделать (грязный) трюк, как:

res = ... 
res = (1 - alpha) * tf.stop_gradients(res) + alpha * res 
+0

довольно умный трюк –

Смежные вопросы