Как оценить повторяющееся соединение в искусственной нейронной сети?

Question

Я просто не понимаю, как мне вычислить вывод нейронной сети, которая содержит рекуррентное соединение.

Так вот пример (я не могу добавлять изображения еще ..): http://i.imgur.com/XdXupIj.png

(i_1,2 являются входные значения, w_1,2,3, г являются веса соединения, и o_1 - это выходное значение.)

Для простоты предположим, что нет функций активации или передачи. Если я понять работу ИНС правильно, то в случае не принимая красный рекуррентную связь во внимание, выход рассчитывается как

o_1=(w_1*i_1+w_2*i_2)*w_3 

Однако то, что в случае, когда красный соединение принимается во внимание? Будет ли это

o_1=((w_1*i_1+w_2*i_2)+(w_1*i_1+w_2*i_2)*w_r)*w_3 

возможно? Но это только моя догадка.

Заранее спасибо.

Answer 1

Рекуррентная нейронная сеть (RNN) - это класс искусственной нейронной сети, где связи между единицами образуют направленный цикл. В отличие от нейронных сетей с прямой связью, RNN могут использовать свою внутреннюю память для обработки произвольных последовательностей входов.

Мне, кажется, что:

o_1=(w_1*i_1+w_2*i_2)*w_r*w_3 

Примечание: Пожалуйста, обратите внимание, если это домашнее задание.

Answer 2

RNN не является обычной сетью. У обычной сети нет времени, но у RNN есть время. Цифровые сигналы поступают на вход сети. Так, например, для i_1 у нас нет ни одного значения, но сигнал i_1[t=0], i_1[t=1],i_1[t=2], … Красное соединение имеет задержку внутри себя, а задержка составляет одну единицу времени. Таким образом, чтобы вычислить выход H1 вы должны использовать следующую рекуррентную формулу:

o[t]=w_1*i_1[t]+w_2*i_2[t])+o[t-1]*w_r 

Вы видите здесь o[t-1], что означает задержку на одну единицу времени.

Говоря о повторяющихся нейронных сетях, вы можете найти множество примеров его использования. Недавно мы участвовали в конкурсе машинного обучения и пытались использовать RNN для классификации сигналов ЭЭГ, но столкнулись с некоторыми препятствиями. Вот подробности: http://rnd.azoft.com/classification-eeg-signals-brain-computer-interface/.