Наиболее подходящий AI для взвешивания параметров?

Question

У меня есть данные этой формы:

[(v1, A1, B1), (v2, A2, B2), (v3, A3, B3), ...] 

В v s соответствуют элементам данных и A с и B с до числовых значений, характеризующих v с.

Человек, смотрящий на эти данные, может посмотреть на него и посмотреть, какой кортеж кажется лучшим «совпадением» в соответствии с значениями и B. Мне нужна форма ИИ, которую я мог бы тренировать, выбрав один из этих кортежей как лучший, и это будет корректировать веса, заданные A и B.

В принципе, каждый кортеж представляет собой приблизительное значение. A представляет ошибку, а B представляет сложность каждого приближения. Мне нужен компромисс между ошибкой и сложностью, назначая им разные значения веса. Я хочу запустить несколько экспериментов с приближениями к разным значениям и выбрать тот, который, как мне кажется, выглядит лучше всего, и AI соответствующим образом регулирует весы.

Answer 1

То, что вы описали, также известно как проблема model selection, что часто встречается в машинных процессах и статистике. У вас в основном есть некоторые модели, которые соответствуют вашим данным с некоторой долей добротности (как правило, оцениваются как вероятность ошибки или логарифма), и эти модели имеют определенную степень сложности (как правило, количество параметров в модели). Вы хотите выбрать наилучшую подходящую модель и оценить ее сложность, потому что это может быть признаком overfitting.

Как правило, степень, на которую может повлиять переобучение, зависит от размера ваших данных. Но есть некоторые меры, которые явно позволяют балансировать модель пригодности и сложности:

• Akaike information criterion
• Bayesian information criterion
• Regularization

Выберите модель, основанную на данных, как выше, может смещать выбор модели по отношению к данным. Таким образом, это обычно делается с использованием validation set and then evaluated on a test set.

Я не знаю, хороший ли ваш подход при наличии алгоритма решения этой проблемы. Обычно это зависит от ваших данных и некоторой степени интуиции. На мой взгляд, описанная техника мета-машинного обучения, вероятно, не будет слишком надежной. Лучше сначала начать с более принципиальных и простых идей.