расчет частоты ошибок системы, начиная с процентных ответов

Question

Буду признателен за идеи в этом отношении. Представьте, у меня есть программное обеспечение (ограничение удовлетворения, решение), который решает проблему и приходит с ответами, как это:

100% А раствор,

100% В является раствор,

70% С является решением,

50% D является решением,

в то время как правильный ответ С.

Представьте, что в конечном итоге все ответы будут рассмотрены в моей системе, поэтому придумать правильный ответ, хотя с меньшей уверенностью все еще остается достижением. Я не буду отбрасывать ответы с меньшим процентом, чем 100. Однако важно найти правильную оценочную функцию или расчет частоты ошибок.

Как рассчитать коэффициент ошибок в моей системе.

Можно сказать, что приведенный выше пример имеет 100% коэффициент ошибок, так как ответ не является ни А, либо В. Что делать, если правильный ответ - B и только B., какова будет частота ошибок?

Answer 1

Ну, очевидным способом является вычисление средней ошибки для всех ответов.

Либо используя среднее абсолютное отклонение (MAD):

(|1-0| + |1-0| + |.7-1| + |.5-0|)/4 = (1+1+.3+.5)/4 = 2.8/4 = 0.7 

или среднеквадратической ошибки (MSE):

(|1-0|^2 + |1-0|^2 + |.7-1|^2 + |.5-0|^2)/4 = (1+1+.09+.25)/4 = 2.34/4 = 0.585 

Оба имеют свои плюсы и минусы.

(Вышеприведенный пример использует «правильный» вектор 0 0 1 0, но он также позволил бы ответить, например, на «любой из ABCD», используя, например, 1 1 1 1. Вы должны убедиться, что эти значения, например сумма до 1 или нет). Аналогичным образом, вы можете нормализовать выход вашего алгоритма до суммы до 1, если вы знаете, что ровно один ответ правильный. В вашем примере это нормализует ответ на .3125 .3125 .21875 .15625, который, вероятно, имеет более низкую ошибку.)