расчета точности и точности для мультиклассируют системы

Question

Я в настоящее время оценивает мешок слов текстуры классификатор, который выходные двоичные результаты:

• истинных позитивов (TP)
• истинные негативы (TN)
• ложных срабатываний (FP)
• ложноотрицательных (FN)

Я ищу, чтобы рассчитать точность, но я не уверен, что правильно присваиваю истинные негативы.

В настоящее время я работаю с 8 классами и присваиваю 7 истинным негативам каждый раз, когда есть истинный положительный и 6 истинных негативов и ложный минус каждый раз, когда есть ложный положительный результат.

Я не был уверен, должен ли я вместо этого добавить один к истинным негативам только тогда, когда есть истинный положительный результат? Это все еще, кажется, дает слишком высокие результаты, как эти результаты:

TP: 20

FP: 10

TN: 20

FN: 10

Точность: 0.66

При назначении истинных негативов, как я изначально, он еще выше. Не должно быть точности 50%, если только половина результатов верна или это нормально?

Как вы думаете, это лучший показатель для измерения точности классификатора или есть что-то более продвинутое?

благодаря

Answer 1

Из того, что я читал, метод я использовал в первой была правильной, хотя стандарт точности (Общая точность) не обязательно является лучшим способом оценить классификатор.

Precision and Recall являются широко используемыми, поскольку они представляют собой ошибки типа 1 и типа 2. Для единственной комбинированной метрики, однако, обычно используется F1Measure F1Score, это гармоническое среднее точности и отзыва и может быть рассчитано по этой формуле: formula.

Другие варианты, такие как кривые ROC (генерируемые с помощью True Positive Rate (TPR) и False Positive Rate (FPR)), также используются, хотя и не обязательно для систем с несколькими классами. Для создания единой метрики с ними берется область «Площадь под кривой» (AUC), которая в значительной степени представляет прогностическую способность классификатора. Это опять же не широко используется для многоклассовых систем.