Значения контекста Elman и Jordan во время обучения для нейронной сети

Question

Я экспериментирую с Elman и/или Jordan ANN, используя Encog framework. Я пытаюсь закодировать свой собственный, но изучать, как Encog его реализовал. Я вижу, как backpropagation через время обновляет веса, но как обновить контекстные нейроны? Там значения, по-видимому, колеблются несколько случайным образом, когда вычисляется выход нейронной сети. Как это так, что эти значения фактически позволяют простой рекуррентной нейронной сети фактически распознавать шаблоны во входных данных с течением времени?

Answer 1

Значения самих нейронных нейронных нейронов не обновляются по мере прохождения обучения. Весы между ними и следующим слоем обновляются во время обучения. Значения контекста будут обновляться по мере запуска нейронной сети.