Python NLTK: Как получить процентную достоверность в прогнозировании классификатора

Question

В настоящее время я изучаю классификатор NLTK для распознавания команд движения. Эти команды могут включать в себя «перемещение влево», «пожалуйста, продвигайтесь вперед», «halt!», «Перейти вправо» и т. Д.

Я в настоящее время использую этот классификатор на основе нескольких ключевых признаков (например, существование «halt» и «left»), чтобы классифицировать информацию, и она отлично работает.

Однако давайте предположим, что приведен следующий текст «двигаться влево вправо». В этом случае оба ключевых слова конфликтуют друг с другом, и, по-видимому, классификатор должен иметь низкий уровень достоверности, предлагая его результирующее предсказание.

Как таковой, есть ли способ получить доверие к его прогнозируемому «направлению», после использования <CLASSIFIER>.classify()?

ПРИМЕЧАНИЕ. Я попытался использовать nltk.classify.accuracy(), но он предназначен только для использования в тестовом наборе данных, а не в одном запросе.

Answer 1

Некоторые классификаторы в NLTK имеют метод prob_classify, который возвращает распределение вероятности по всем возможным результатам. Из этого вы можете вычислить оценки доверия, такие как odds или log-odds. Для процентного балла вы можете просто взять вероятность наиболее вероятного результата.