Как определить заранее ключевые функции из большого набора данных, где большая часть данных попадает под одну категорию, используя контролируемое обучение

Question

У меня очень большой набор данных, извлеченный из машины (данные потока), где большая часть данных попадает под одну категорию , если я тренирую классификатор с использованием текущих данных, точность будет очень низкой. как определить ключевые особенности при предоставлении данных? также как я могу измерить вероятность некоторых предыдущих функций в временном ряду?

Answer 1

Типичные методы идентификации важных функций включают PCA и ICA. Однако даже более ценным, чем эти методы, является понимание базовой системы, которую представляют ваши данные.

Answer 2

Трудно ответить без дополнительной информации о структуре данных. Лучший подход к классификации зависит от структуры ваших данных и целей вашего анализа. Есть некоторые классификаторы, которые могут очень хорошо справляться с перекошенными данными, я бы предположил, что вы посмотрите на некоторые из таких ансамблевых методов, как усиление и случайные или ротационные леса. Некоторые из этих методов классификации, например ротационные леса, предоставляют информацию о переменной важности в рамках учебного процесса. Если вы просто хотите решить, какие функции наиболее важны, вы можете попробовать использовать CART/random леса. Однако, если вам нужна подробная помощь, я настоятельно рекомендую вам предоставить дополнительную информацию о вашей структуре данных и о том, чего вы хотите достичь.