L2 регуляризации для полностью связанных параметров в CNN

Question

В this примере для tensorflow, он используется L2 регуляризации для полностью подключенных параметров .:

regularizers = (tf.nn.l2_loss(fc1_weights) + tf.nn.l2_loss(fc1_biases) + 
        tf.nn.l2_loss(fc2_weights) + tf.nn.l2_loss(fc2_biases)) 

что это? почему здесь используются полностью подключенные параметры? и как это улучшает качество?

Answer 1

Регуляризаторы в целом - это термины, добавленные к функции потерь, которые не позволяют модели перенастраивать данные обучения. Они делают это, поощряя определенные свойства на изученной модели.

L2 регуляризации параметров, например, стимулирует все параметры, чтобы быть маленьким, вместо того чтобы быть остроконечный. Это, в свою очередь, побудило бы сеть уделять равное внимание всем измерениям входного вектора.

Википедия page - отличное введение в регуляризацию в целом, и вы щелкаете, чтобы глубже изучить L2-регуляризацию в частности.