Каковы способы предварительной обработки категориальных данных перед применением алгоритмов классификации?

Question

Я новичок в обучении машинам, и я работаю над проблемой классификации с категориальными (номинальными) данными. Я попытался применить BayesNet и пару алгоритмов классификации деревьев и правил к исходным данным. Я могу достичь AUC 0,85.

Я также хочу улучшить AUC путем предварительной обработки или преобразования данных. Однако, поскольку данные категоричны, я не думаю, что здесь будут работать преобразования журнала, добавление, умножение и т. Д. Разных столбцов.

Может кто-нибудь перечислить, какие наиболее распространенные преобразования применяются к категориальным наборам данных? (Я пробовал одноразовое кодирование, но это требует много памяти!)

Answer 1

Категорически по моему опыту лучше всего разобраться с одним горячим кодированием (например, преобразованием в бинарный вектор), как вы уже упоминали. Если память является проблемой, может быть полезно использовать алгоритм онлайн-классификации и генерировать измененные векторы «на лету».

Помимо этого, если категории представляют диапазон (например, если категории представляют диапазон значений, таких как возраст, высота или доход), может быть возможно обработать центр (или какое-либо соответствующее среднее значение, если есть распределение внутри метки) категории варьируется как действительное число.

Если вы применяете кластеризацию, вы также можете рассматривать категориальные ярлыки как точки на оси (1,2,3,4,5 и т. Д.), Масштабированные соответствующим образом для других функций.