Преобразование категориальных данных в Scikit-Learn

Question

У меня есть набор из целочисленных данных размером 40 миллионов x 22 для задачи классификации. Большинство функций представляют собой категориальные данные, которые используют разные целочисленные значения для представления различных категорий. Например, в столбце «Цвет»: 0 означает синий, 1 означает красный и т. Д. Я предварительно обработал данные с помощью LabelEncoder.

1. Имеет ли смысл вместить эти данные в любую классификационную модель в SK-learn? Я попытался поместить данные в модель Random Forest, но получил очень плохую точность. Я также попробовал One Hot Encoding, чтобы преобразовать данные в фиктивные переменные, но мой компьютер может использовать только разреженную матрицу после использования One Hot Encoding, проблема в том, что Random Forest может использовать только плотную матрицу, которая будет превышать память моего компьютера.
2. Какова правильная стратегия борьбы с категориальными данными в SK-learn?

Answer 1

LabelEncoder бесполезно в вашем случае, поскольку выходные данные не имеют никакого смысла, как номера (т.е. это бессмысленно для выполнения арифметических операций над ними). OneHotEncoder имеет важное значение при работе с категориальными данными.

Недавно sklearn got support for sparse input в случайных лесах и деревьях принятия решений, чтобы вы могли проверить последнюю версию. Кроме того, другие методы, такие как LogisticRegression, поддерживают разреженные данные.

Кроме того, я не думаю, что вам нужно использовать все 40M примеров, чтобы получить достойную точность. Этого должно быть достаточно, чтобы случайным образом опробовать, скажем, 100 тыс. Из них (это число зависит от количества функций после OneHotEncoding, их изменчивости и количества целевых классов).