Испытание и поезд по тем же данным или по другим данным

Question

У меня есть набор данных из двух классов, которые я использовал для классификации его классификатора Наивного Байеса. Во-первых: обучение и тестирование классификаторов в те же данные я получил:

Accuracy: 71.1262 
False negative rate: FN/FN+TP = FN/P= 284/295 = 0.840 
False positive rate: FP/FP+TN = FP/N = 93/886 = 0.104 
Sensitivity: Recall:True positive rate: TP/TP+FN = TP/P = 0.1593 
Specificity: True negative rate: TN/TN+FP = TN/N = 0.8950 
Precision : Positive Predictive Value: TP/TP+FP = 0.3357 
Negative Predictive Value: TN/TN+FP = 0.7618 

Во-вторых: я тренировалась классификатор в образце тестируют в другом образце я получил:

Accuracy: 0.7704 
False negative rate: FN/FN+TP=FN/P =147/222 = 0.662 
False positive rate: FP/FP+TN= FP/N = 73/736=0.099 
Sensitivity: Recall:True positive rate: TP/TP+FN=TP/P=75/222= 0.3378 
Specificity: True negative rate:TN/FP+FP=TN/N= 663/736 = 0.9008 
Precision : Positive Predictive Value:TP/TP+FP= 0.5068 

На самом деле, когда я попытался с Решению дерева и Нейронная сеть Я получил почти аналогичный результат Является ли этот нормальный результат? какова именно проблема в этих данных?

Answer 1

Существует множество проблем, ML - это постоянный процесс экспериментирования и тестирования, и есть способы «диагностировать» ваши алгоритмы. Id предлагает выполнить конструкцию функций и проверить, были ли у вас перекошенные классы в вашем наборе данных, построение кривых обучения, выполнение перекрестной проверки и выбор модели, анализ необходимости масштабирования и нормализации функций, проверка множества параметров регуляризации и т. Д.