Обучение нейронной сети с помощью обучения усилению

Question

Я знаю основы нейронных сетей с прямой связью и как их обучать с использованием алгоритма backpropagation, но я ищу алгоритм, который я могу использовать для обучения ANN онлайн с обучением по усилению.

Например, проблема cart pole swing up является проблемой, которую я хотел бы решить с помощью ANN. В этом случае я не знаю, что нужно сделать для управления маятником, я знаю только, насколько я близок к идеальной позиции. Мне нужно, чтобы ANN учился на основе вознаграждения и наказания. Таким образом, контролируемое обучение не является вариантом.

Другая ситуация - это как-то вроде snake game, где обратная связь задерживается и ограничивается целями и анти-целями, а не вознаграждением.

Я могу придумать некоторые алгоритмы для первой ситуации, такие как скалолазание или генетические алгоритмы, но я предполагаю, что они оба будут медленными. Они также могут быть применимы во втором сценарии, но невероятно медленны и не способствуют онлайн-обучению.

Мой вопрос прост: Есть ли простой алгоритм для обучения искусственной нейронной сети с обучением по усилению? Меня в основном интересуют ситуации с вознаграждением в режиме реального времени, но если доступен алгоритм для целенаправленных ситуаций, еще лучше.

Answer 1

Есть несколько научно-исследовательских работ по теме:

• Efficient Reinforcement Learning Through Evolving Neural Network Topologies (2002)
• Reinforcement Learning Using Neural Networks, with Applications to Motor Control
• Reinforcement Learning Neural Network To The Problem Of Autonomous Mobile Robot Obstacle Avoidance

И некоторый код:

• Code examples для обучения усилению нейронной сети.

Это только некоторые из лучших результатов поиска google по этой теме. Первые две статьи выглядят так, как будто они неплохие, хотя я не читал их лично. Я думаю, вы найдете еще больше информации о нейронных сетях с обучением подкрепления, если вы сделаете быстрый поиск в Google Scholar.

Answer 2

Если выход, который приводит к вознаграждению r, возвращается в сеть r раз, вы будете укреплять сеть пропорционально вознаграждению. Это не относится непосредственно к отрицательным вознаграждениям, но я могу думать о двух решениях, которые будут создавать разные эффекты:

1) Если у вас есть набор наград в диапазоне rmin-rmax, перескажите их до 0-(rmax-rmin), чтобы они были все неотрицательные. Чем больше награда, тем сильнее создается подкрепление.

2) За отрицательную награду -r, backpropagate случайный выход r раз, если он отличается от того, что приводит к отрицательной награде. Это не только усилит желаемые результаты, но также рассеивает или предотвращает плохие результаты.