Я запрограммировал свой собственный классификатор в python, я использовал текстовое тело для его тестирования с использованием измерения F1, но теперь я хочу проверить его в других задачах Data Mining, поэтому у меня есть свой классификатор выходной файл в данный корпус, и я хочу измерить качество с помощью различных мер Weka, как я могу пропустить в Weka выходной файл и получить качество?Использование weka для измерения качества моего классификатора
Я думаю, что правильная процедура должна быть своего рода n-кратной проверкой: разделите свой набор данных на обучающие и тестовые наборы. Разработать модель на учебном наборе; вычислить сумму квадратов ошибок SSE (поезд).
Возьмите модель и запустите с ней тестовые данные и вычислите SSE (тест) с использованием прогнозируемых и фактических значений отклика. Это поможет вам оценить точность и предвзятость вашей модели.
Посмотрите на Elements of Statistical Learning Using R.
Есть ли ссылка, которая иллюстрирует описанную вами процедуру? – denys91
Проблема заключается в следующем: если вы обучили ваш классификатор и изучили модель, вы должны как-то сериализовать модель в python. Чтобы использовать его в weka, 1) weka нужно понимать ваш алгоритм классификатора (т. Е. Совместим с существующими алгоритмами Weka, J48, наивными байками и т. Д.?) Weka нужно понять формат модели, чтобы загрузить его. Я думаю, 1) может быть хорошо в вашем случае, но вам нужно работать над 2). вероятно, может начаться здесь: https://weka.wikispaces.com/Saving+and+loading+models – greeness
Когда я перечитываю вам вопрос, я узнал, что вы действительно хотите просто использовать оценки оценки weka без предсказания внутри weka. Я понятия не имею, предоставляет ли weka такой API, чтобы вы могли передавать предсказанные ярлыки и золотые метки, а затем выводили различные меры. – greeness
Да, я действительно хочу просто использовать оценки оценки weka без предсказания внутри weka, у меня уже есть файл предсказаний моего алгоритма, поэтому я просто хочу использовать weka для измерения его качества. Я искал в Интернете формат weka opcion и формата предсказания файла или что-то в этом роде, но я его не нашел. – denys91