Может ли рекуррентная нейронная сеть изучать несколько разных последовательностей сразу?

Question

Можно ли использовать повторяющуюся нейронную сеть для изучения последовательности с несколько разными вариациями? Например, можно ли обучить RNN так, чтобы он мог генерировать последовательность последовательных целых чисел или альтернативных целых чисел, если у меня достаточно данных для обучения?

Например, если я тренируюсь с помощью

1,2,3,4 
2,3,4,5 
3,4,5,6 

и так далее , а также обучать той же сети, используя

1,3,5,7 
2,4,6,8 
3,5,7,9 

и так далее, я был бы в состоянии предсказать, как последовательности, успешно для тестового набора?

Что делать, если у меня есть еще больше вариаций в данных обучения, таких как последовательности из трех целых чисел или каждые четыре целых числа и т. Д.?

Answer 1

Да, при наличии достаточной информации в последовательности, чтобы она не была двусмысленной, нейронная сеть должна была научиться правильно заполнять эти последовательности.

Следует отметить несколько деталей, хотя:

• нейронных сетей, а также модели ML в общем, плохо экстраполяцией. Простая сеть вряд ли узнает о последовательностях в целом. Он никогда не узнает концепцию логики последовательности так быстро, как ребенок. Поэтому, если вы загружаете тестовые данные за пределы своего опыта (например, шаги 3 между элементами, когда они не были в данных обучения), он будет работать плохо.

• Нейронные сети предпочитают масштабированные входы - общий шаг предварительной обработки - нормализовать, чтобы означать 0 стандартное отклонение 1 для каждого столбца ввода. Несмотря на то, что сеть может принимать больший диапазон чисел на входах, это снизит эффективность обучения. С созданным набором тренировок, например, с помощью искусственных числовых последовательностей, вы сможете пробиться через это путем обучения дольше с большим количеством примеров.

• Вам понадобится больше нейронов и больше слоев, чтобы поддерживать большее изменение последовательностей.

• Для RNN он будет плохо предсказать, если последовательность, которую она обработала до сих пор, неоднозначна. Например. если вы тренируете 1,2,3,4 и 1,2,3,5 с одинаковым количеством выборок, он будет прогнозировать либо 4,5 (для регрессии), либо 50% шанс 4 или 5 (для классификатора), когда он показывает последовательность 1, 2,3 и попросил предсказать.