Как контролировать скорость обучения AdamOptimizer? В TensorBoard: Visualizing Learning сказано, что мне нужноКак добавить скорость обучения в резюме?
собирать их путем присоединения scalar_summary OPS к узлам, которые выводят скорость обучения и потери соответственно.
Как это сделать?
Я думаю, что-то вроде следующих внутри графика будет работать нормально:
with tf.name_scope("learning_rate"):
global_step = tf.Variable(0)
decay_steps = 1000 # setup your decay step
decay_rate = .95 # setup your decay rate
learning_rate = tf.train.exponential_decay(0.01, global_step, decay_steps, decay_rate, staircase=True, "learning_rate")
tf.scalar_summary('learning_rate', learning_rate)
(Конечно, чтобы заставить его работать, было бы требовать, чтобы tf.merge_all_summaries() и использовать tf.train.SummaryWriter написать резюме в журнал в конце)
Интересный ответ, но это не для ADAM, @zhongyukuang – Escachator
Но скорость обучения Адама постоянна ... Адам вычисляет некоторую статистику градиента и изменяет размер шага на основе скорости обучения и этих статистических данных. – sygi
Да, вы пишете, на самом деле мне нужен сюжет размера шага. – Mtr