Как оценить мой собственный классификатор текста

Question

Я написал свой собственный текстовый классификатор, основанный на некоторой лингвистической теории. Конечным результатом классификатора является кортежная пара названия статьи и двоичной категории.

Я также использовал классификатор NB на своем золотом стандарте corpus и оценил его производительность с помощью CV, используя библиотеку обучения Sci-kit в Python. Тем не менее, я изо всех сил пытаюсь понять, как оценить производительность моего собственного классификатора. : S

Я бы очень признателен за ваши идеи, так как я не испытываю машинного учащегося.

Спасибо,

Guzdeh

Answer 1

Чтобы оценить классификатор, наиболее распространенная Метрика точности, но не правила для всех возможных сценариев, так что я хотел бы предложить вам прочитать немного об оценке метрика для классификаторов. Также читайте о методологии оценки.

Если у вас нет времени, придерживайтесь точности и перекрестной проверки на данный момент, но не забудьте понять, что означает данный показатель, что означает ваша методология, как читать матрицу замешательства, каждую метрику и методологию за и против , и особенно его ограничения.

Scikit Узнайте Референс Страница своих показателей: Link

Scikit Учимся Руководство пользователя для перекрестной проверки: Link

Вы сказали, у вас есть золотой стандарт. Вы сказали, что у вас есть ваша модель. Затем вам нужно выбрать только метрику и методологию оценки.

Ваша модель будет прогнозировать класс/цель с учетом ввода (набор функций). Затем предсказание будет сравниваться с вашим истинным/золотым стандартом.