Сигмоидная активация нейронных сетей с изменениями смещения

Question

Я пытаюсь выяснить, создаю ли я искусственную нейронную сеть, используя функцию активации сигмоида и правильно использую предвзятость. Я хочу, чтобы один смещающий узел вводил все скрытые узлы со статическим выходом -1 в сочетании с его весом, а затем один на выходе выводил также статический вывод -1 в сочетании с его весом. Затем я смогу обучать эти предвзятости точно так же, как я бы тренировал другие нейроны, правильно?

Answer 1

Это правильное рассуждение, однако это довольно редко, чтобы установить значение «-1» (почему не +1?), Я никогда не видел это раньше в литературе. Если вы поддерживаете правильную структуру графика, то нет никакой разницы между обновляющими весами для «реальных» узлов и «узлов смещения». Единственное различие может возникнуть, если вы не храните структуру графа, и поэтому вы не «знаете», что смещение (связанное с выходным узлом) не имеет «детей», и поэтому сигнал не «обратно размножается» глубже в сеть , Я видел такие коды, которые просто хранят слои как массивы и помещают смещения в индекс 0, чтобы они могли перебирать 1 во время обратного распространения. Очевидно, что реализация на основе графов является гораздо более читаемой (однако гораздо медленнее, поскольку вы не можете векторизовать свои вычисления).