Разница между PCA (анализ основных компонентов) и выбор функции

Question

В чем разница между основным компонентом анализа (PCA) и выбором функций в машинах? Является ли СПС средством выбора функций?

Answer 1

PCA - это способ узнать, какие функции важны для лучшего описания дисперсии в наборе данных. Это чаще всего используется для уменьшения размерности большого набора данных, поэтому становится практичнее применять машинное обучение, когда исходные данные по своей сути являются высокоразмерными (например, распознавание изображений).

PCA имеет ограничения, хотя, поскольку он полагается на линейные отношения между элементами элементов, и часто неясно, каковы отношения до начала. Поскольку он также «скрывает» элементы элементов, которые мало влияют на дисперсию данных, он иногда может искоренить небольшой, но значительный отличительный признак, который повлияет на производительность модели машинного обучения.

Answer 2

Вы можете сделать выбор функции с помощью PCA.

анализ главных компонент (РС) представляет собой метод, который

«использует ортогональное преобразование, чтобы преобразовать набор наблюдений возможно коррелированных переменных в набор значений некоррелированных переменных, называемых главными компонентами.»

Вопрос о том, что PCA помогает нам в принципе ответить: Какой из этих параметров M объясняет значащее количество изменений , содержащихся в наборе данных? PCA по существу помогает применять правило 80-20 : может ли небольшое подмножество параметров (скажем, 20%) объяснить 80% или более изменений в данных?

(see here)

Но она имеет некоторые недостатки: он чувствителен к шкале, и дает больший вес данных с более высокого порядка величины. Нормализация данных не всегда может быть решением, как описано здесь:

http://www.simafore.com/blog/bid/105347/Feature-selection-with-mutual-information-Part-2-PCA-disadvantages

Есть другие способы сделать выбор функции:

алгоритм отбора признаков можно рассматривать как комбинации поиска метод для предложения новых подмножеств признаков вместе с оценочной мерой , которая оценивает различные подмножества признаков. Самый простой алгоритм - это проверка каждого возможного подмножества признаков, который находит тот, который минимизирует частоту ошибок. Это исчерпывающий поиск пространства и является вычислительно неразрешимым для всех, кроме самых маленьких наборов функций. Выбор оценочной метрики сильно влияет на алгоритм, и именно эти оценочные показатели, которые различают между тремя основными категориями выбора функции алгоритмы: обертки, фильтры и встроенные методы.

(see here)

В некоторых областях, извлечение признаков может предложить конкретные цели: в обработке изображений, вы можете выполнить блоба, край или обнаружение гребня.

Answer 3

Просто добавьте ответ @Roger Rowland. В контексте контролируемого обучения (классификация, регрессия) мне нравится думать о PCA как о «функциональном трансформаторе», а не о селекторе функций.

PCA основан на извлечении осей, на которых данные показывают самую высокую изменчивость. Хотя он «распространяет» данные на новой основе и может оказать большую помощь в неконтролируемом обучении, нет никакой гарантии, что новые оси согласуются с дискриминационными функциями в контролируемой проблеме.

Проще говоря, нет никакой гарантии, что ваши главные главные компоненты являются наиболее информативными, когда речь идет о предсказании зависимой переменной (например, метки класса).

This paper - полезный источник. Другая релевантная перекрестная ссылка: here.

Answer 4

Просто чтобы добавить к очень хорошим ответам выше. Разница в том, что PCA попытается уменьшить размерность, исследуя, как одна особенность данных выражается в терминах других функций (linear dependecy). Выбор функции вместо этого учитывает цель. Он будет оценивать ваши входные переменные с точки зрения того, насколько они полезны для прогнозирования целевого значения. Это верно для одномерного выбора функции. Функция выбора нескольких вариаций также может сделать что-то, что можно рассматривать как форму PCA, в том смысле, что оно отбросит некоторые функции на входе. Но не принимайте эту аналогию слишком далеко.