Как проверить NaN в градиентах в Tensorflow при обновлении?

Question

Все,

При подготовке большой модели с большим количеством образцов некоторые образцы могут быть причиной градиента NaN при обновлении параметра.

И я хочу найти эти образцы. Между тем я не хочу, чтобы этот градиент пакетных выборок обновлял параметр модели, потому что это может быть причиной того, что параметр модели NaN.

Итак, у любой есть хорошая идея справиться с этой проблемой?

Мой код, как показано ниже:

# Create an optimizer. 
    params = tf.trainable_variables() 
    opt = tf.train.AdamOptimizer(1e-3) 
    gradients = tf.gradients(self.loss, params) 

    max_gradient_norm = 10 
    clipped_gradients, self.gradient_norms = tf.clip_by_global_norm(gradients, 
                max_gradient_norm) 

    self.optimizer = opt.apply_gradients(zip(clipped_gradients, params)) 

Answer 1

Вы можете проверить ваши градиенты NaN по tf.check_numerics:

grad_check = tf.check_numerics(clipped_gradients) 
with tf.control_dependencies([grad_check]): 
    self.optimizer = opt.apply_gradients(zip(clipped_gradients, params)) 

grad_check бы бросить InvalidArgument если clipped_gradients является NaN или бесконечность.

tf.control_dependencies проверяет, чтобы оценка grad_check оценивалась перед применением градиентов.

Также см. tf.add_check_numerics_ops().

Answer 2

Вы можете использовать tf.is_nan в сочетании с tf.cond, чтобы выполнить остальную часть кода, если потеря не NaN.