Как организовать повторяющуюся нейронную сеть?

Question

Я хочу моделировать следующее:

у (т) = Р (х (т-1), х (т-2), ... х (тк))

или позволяет сказать, что его текущий выход зависит от последних k входов.

1- Я знаю один способ иметь классическую нейронную сеть с к входам в {х (т-1), х (т-2), ... х (Tk)} для каждого у (t) и обучить его. Тогда в чем преимущество использования RNN для решения этой проблемы?

2 Предполагая использование RNN, следует использовать только x (t) (или x (t-1)) и предположить, что скрытый слой (ы) может найти отношение y (t) к прошлым k входам через наличие в своей памяти (скрытый слой)?

3 Использование глубоких сетей, таких как Deep RNN или LSTM, имеет какое-либо превосходное преимущество для такой проблемы, учитывая, что мы хотим оценить выход на основе последних k входов?

Answer 1

1. Я бы не советовал вам использовать классический ванильный RNN. Теоретически он обладает способностью хранить информацию из предыдущих входов в своей памяти, но практически для этого требуется экспоненциально большое количество узлов.
2. Предполагая классические воплощения ванили, если современные архитектуры (например, LSTM или GRU) - это зависит от того, хотите ли вы использовать одну направленную или двунаправленную модель. Если вы хотите предсказать следующий шаг - обычно одна направленная архитектура лучше. Если вы хотите лучше проанализировать приведенные последовательности - я советую вам применить двунаправленную.
3. LSTMs и GRUs используют дополнительные ячейки памяти, которые помогают вам поддерживать долговременную зависимость между входами в памяти. Сейчас они считаются лучшими архитектурами. Глубокие RNN - обычно представляют собой глубокие сети с повторяющимися топологиями - они используют свою глубину так же, как и родственные нейронные сети.