Моделирование карточной игры для машинного обучения

Question

Я ищу некоторую помощь в моделировании этой проблемы с обучением машины.

Рука состоит из трех рядов (содержащих соответственно 3, 5 и 5 карт). Ваша цель - создать руку, которая наберет наибольшее количество очков. Вы получаете карты через интервалы, называемые улицами, пять карт на первой улице и три на следующих четырех улицах (вы должны отбросить одну из карт на последних четырех улицах). Карты не могут перемещаться после их размещения. More details on scoring.

Моя цель - создать систему, которая, учитывая множество улиц, играет рукой, подобной нашим лучшим игрокам. Кажется довольно ясным, что мне нужно построить нейронную сеть для каждой улицы, используя функции, основанные на существующей руке и наборе карточек на улице. У меня есть много данных (улицы, места размещения и окончательный результат), но я немного не уверен, как моделировать проблему, учитывая, что возможные выходы уникальны на множестве карт (хотя их меньше 3^5 места размещения на первой улице и 3^3 после). Раньше я занимался только проблемами классификации с фиксированными категориями.

Есть ли у кого-нибудь пример подобной проблемы или предложения по подготовке данных обучения, когда у вас есть уникальные выходы?

Answer 1

Неясный вопрос дает неопределенный ответ (который является моим оправданием для того, чтобы быть слишком ленивым для кодирования ;-).

Вы писали, что у вас много данных, и, похоже, вы хотите сопоставить игру с опытом, приобретенным с контролируемым обучением. Но это не так, как работает оптимизация игры. Обычно, как правило, не осуществляется контролируемое обучение, а скорее обучение подкрепления. Различия тонкие, но усиление обучения (с марковскими процессами принятия решений в качестве его теоретической основы) предлагает более локальную точку зрения - например, оптимизировать решение, учитывая конкретное состояние. Контролируемое обучение скорее соответствует оптимизации сразу нескольких решений.

Еще одна пробковая пробка для обычного подхода, основанного на наблюдении, заключается в том, что даже если у вас много данных, почти наверняка будет слишком мало. И он не предложит «требуемые пути».

Обычный подход, по крайней мере, с тех пор, как игрок нарды Thesauro - это скорее: установить основные правила игры, возможно, ввести человеческое знание в качестве эвристики, а затем позволить программе играть против себя как можно чаще - вот как Google Например, глубокий ум создал мастер-плеер. См. Также this interesting video.

В вашем случае задача в принципе не такая уж трудная, так как существует сравнительно небольшое количество игровых состояний, и, что важно, любые проблемы, связанные с психологией, такие как блеф, последовательная игра и т. Д., Полностью отсутствуют.

Итак, снова создайте бота, который может играть против себя. Один общий базис - это функция Q(S,a), которая присваивает любому игровому состоянию и возможному действию игрока значение - это называется Q-обучением. И эта функция часто реализуется как нейронная сеть ... хотя я бы подумал, что здесь не нужно быть таким сложным.

Я пока останусь туманным. Но я был бы рад помочь вам в случае необходимости.