Коррелированные функции и точность классификации

Question

Я хотел бы задать каждому вопрос о том, как коррелированные функции (переменные) влияют на точность классификации алгоритмов машинного обучения. С коррелированными особенностями я подразумеваю корреляцию между ними, а не с целевым классом (т. Е. Периметром и площадью геометрической фигуры или уровнем образования и средним доходом). На мой взгляд, коррелированные функции отрицательно влияют на точность алгоритма классификации, я бы сказал, потому что корреляция делает один из них бесполезным. Неужели это так? Изменяется ли проблема с учетом типа классификационного алгоритма? Любое предложение по документам и лекциям действительно приветствуется! Спасибо

Answer 1

В целом, я бы сказал, что чем больше несовместимых функций, тем лучше будет производительность классификатора. Учитывая набор высококоррелированных функций, может быть возможно использовать методы PCA, чтобы сделать их максимально ортогональными для повышения эффективности классификатора.

Answer 2

Коррелированные функции не влияют на точность классификации как таковую. Проблема в реалистичных ситуациях состоит в том, что мы имеем конечное число учебных примеров, с помощью которых можно обучать классификатор. Для фиксированного количества примеров обучения увеличение количества функций обычно повышает точность классификации до точки, но по мере того, как количество функций продолжает увеличиваться, точность классификации будет в конечном итоге уменьшаться, потому что тогда мы получаем недокадровое число относительно большого количества функций. Чтобы узнать больше о последствиях этого, посмотрите на curse of dimensionality.

Если две числовые функции полностью коррелированы, то дополнительная информация не добавляется (она определяется другой). Поэтому, если количество функций слишком велико (относительно размера выборки для обучения), то полезно уменьшить количество функций с помощью метода feature extraction (например, через principal components)

Эффект корреляции зависит от тип классификатора. Некоторые непараметрические классификаторы менее чувствительны к корреляции переменных (хотя время обучения, вероятно, будет увеличиваться с увеличением количества функций). Для статистических методов, таких как максимальная вероятность Гаусса, наличие слишком большого количества коррелированных признаков относительно размера обучающей выборки сделает классификатор непригодным для использования в исходном пространстве признаков (матрица ковариации выборочных данных становится сингулярной).