Функция шага по отношению к сигмоидной функции

Question

Я не совсем понимаю, почему сигмоидная функция рассматривается как более полезная (для нейронных сетей), чем функция шага ... надеясь, что кто-то сможет объяснить это для меня. Заранее спасибо.

Answer 1

(Heaviside) step function, как правило, полезен только в single-layer perceptrons, раннем типе нейронных сетей, которые могут использоваться для классификации в случаях, когда входные данные linearly separable.

Однако, multi-layer neural networks or multi-layer perceptrons представляют особый интерес, поскольку они являются аппроксиматорами общей функции, и они способны отличать данные, которые не являются линейно разделяемыми.

Многослойные персептроны обучаются с использованием backpropapagation. Требование для backpropagation - это функция активации differentiable. Это потому, что backpropagation использует gradient descent для этой функции для обновления веса сети.

Функция Хевисайда недифференцируема при х = 0 и его производная в другом месте. Это означает, что градиентный спуск не сможет добиться прогресса в обновлении весов, а backpropagation не удастся.

sigmoid or logistic function не имеет этого недостатка, и это объясняет его полезность в качестве функции активации в области нейронных сетей.

Answer 2

Это зависит от проблемы, с которой вы имеете дело. В случае простой двоичной классификации подходящей является функция шага. Сигмоиды могут быть полезны при построении более биологически реалистичных сетей путем введения шума или неопределенности. Другое, но достаточно разнообразное использование сигмоидов для численного продолжения, т. Е. При выполнении бифуркационного анализа по некоторому параметру в модели. Численное продолжение проще с плавными системами (и очень сложными с негладкими).