Наблюдение tensorflow РНН модели весов

Question

Я использую tensorflow модель РНН перевод опубликован здесь:
translation model

Я хочу, чтобы внести изменения в часть этого кода в соответствии с моими собственными идеями.
Первое, что я хочу сделать, это увидеть target_weights в каждом слое.
Я знаю, что сначала массив target_weights, который содержит нули для заполнения и 1 для каждого слова в предложении.
После инициализации он подается на метод session.run, и он обязательно изменится.
Теперь я хочу знать, знает ли кто-нибудь, как мне увидеть изменение этого массива во время процесса обучения.
Или что-то еще, как я могу видеть каждый вес слоя и проверять значения, соответствующие каждому слою.

Заранее спасибо

Answer 1

То, что вы ищете, вероятно TensorBoard, который дает возможность визуализировать произвольные значения/статистику вашей сети.

Все, что вам нужно сделать, это добавить summarizers в коде, например, через

tf.scalar_summary("norm of weights going", norm_of_weights) 

и позже создать краткое содержание писателю

merged = tf.merge_all_summaries() 
writer = tf.train.SummaryWriter("logs_directory/", sess.graph_def) 

Который будет создавать журналы , который вы можете анализировать через тензограмму. То, как вы определяете резюме, какие вещи вы регистрируете и т. Д. Зависит от вас и зависит исключительно от проблемы. Вы хотите отслеживать каждый вес отдельно? Если это так - добавьте скалярные сводки к каждому из них. Вы хотите только короткую эволюцию? Сосредоточьтесь на нормах этих. Вы также можете контролировать гистограммы (например, распределение активации, например) до tf.histogram_summary и так далее.