Большие выходы для нейронных сетей

Question

Возможно ли получить выход из нейронной сети, которая является сколь угодно большой? Я знаю, что функция активации не должна быть сигмовидной, но всякий раз, когда я пытаюсь использовать линейную (т. Е. Не имеет функции активации), мои выходы быстро опускаются до нуля, и все разваливается.

В качестве примера, возможно ли иметь сеть, в которой выходной сигнал удваивает входной сигнал, даже если выходной сигнал не целочисленный, чем 1?

Извините, если это повторяющийся вопрос (похоже, он был бы), но я не мог найти нить, которая касалась этой точной проблемы. Я буду публиковать код, если это необходимо, но его много, и это похоже на общую проблему ...

Answer 1

Нет ограничений в выходных значениях до тех пор, пока вы используете неограниченную функцию активации на уровне вывода и что вы не ограничиваете свои веса «слишком много» (методы регуляризации, такие как распад массы, заставляют вашу сеть иметь небольшие значения).