Расчет весов в NN

Question

Так что я в настоящее время пытаюсь реализовать свой первый NN с генетическим алгоритмом обучения и сигмоидной функцией активации. Это все хорошо, но я не совсем уверен, в каких диапазонах должны быть веса. Я искал некоторые вопросы, но не повезло. Как выбрать диапазоны весов в NN? От чего это зависит?

Answer 1

Весы можно рассматривать как неотъемлемую часть проблемы, которую вы пытаетесь решить, используя подход GA/NN; для них нет общего наилучшего значения, поэтому вам лучше изучить разные диапазоны веса (комплекты обучения w.r.t.) с другими фиксированными параметрами.

Е.Г., изучение различных настроек для параметра weightSpan в

weights \in [-weightSpan/2, weightSpan/2], 

и пусть ваши первоначальные хромосомы описывают веса с рандомизированными значений в этом диапазоне. Ваша функция раздавливания (сигмоида) используется для оценки ответа NN на диапазон [0, 1].

Поиск подходящего диапазона веса, так же, как установка значения количества скрытого слоя, процесс, если это связано с проблемами. («Нет бесплатного обеда»).

---

Edit:

Я думал, что я хотел бы добавить, что самый простой способ изучения различного веса охватывает, вероятно, установить фиксированный диапазон веса, скажем, [-1, 1], а также изучить давя постоянная в вашей функции раздавливания (сигмовидная). 1. Изучить различные (неотрицательные) значения констант c в вашем сигмоиде

σ(s) = 1/(1 + e^(-c*s))