Что означают функции, заданные методом выбора функции, в бинарном классификаторе, который имеет перекрестную точность проверки 0?

Question

Итак, я знаю, что, учитывая бинарный классификатор, чем дальше вы находитесь, тем лучше 0.5, тем лучше ваш классификатор. (Т.е. бинарный классификатор, который получает все неправильное, может быть преобразован в тот, который получает все правильно, всегда инвертируя его решения.)

Однако у меня есть процесс выбора внутренней функции, который предоставляет мне «хорошие» функции для использования (I «Протестировать рекурсивную функцию, а другой основан на коэффициенте ранговой корреляции Спирмена). Учитывая, что классификатор, использующий эти «хорошие» функции, получает перекрестную проверку достоверности 0, могу ли я сделать вывод, что выбранные функции полезны и являются прогностическими для класса в этой задаче бинарного предсказания?

Answer 1

Чтобы упростить, предположим, что вы тестируете какой-либо сбалансированный набор. Половина данных тестирования положительна, а половина данных тестирования отрицательна.

Я бы сказал, что происходит что-то странное, которое переворачивает знак вашего решения. Этот классификатор, который вы оцениваете, очень полезен, но вам нужно перевернуть принятое им решение. Вероятно, вы должны проверить свой код, чтобы убедиться, что вы не просматриваете класс данных обучения. Некоторые библиотеки (например, LIBSVM) требуют, чтобы первый пример обучения был из положительного класса.

Подводя итог: кажется, что функции, которые вы выбираете, полезны, но, похоже, у вас есть ошибка, которая переворачивает классы.