Уменьшить количество уровней для больших категориальных переменных

Question

Есть ли готовые к использованию библиотеки или пакеты для python или R, чтобы уменьшить количество уровней для больших категориальных факторов?

Я хочу достичь чего-то похожего на R: "Binning" categorical variables, но кодировать наиболее часто используемые коэффициенты k-k и «другие».

Answer 1

Ниже приведен пример в R с использованием data.table, но это должно быть легко и без data.table.

# Load data.table 
require(data.table) 

# Some data 
set.seed(1) 
dt <- data.table(type = factor(sample(c("A", "B", "C"), 10e3, replace = T)), 
       weight = rnorm(n = 10e3, mean = 70, sd = 20)) 

# Decide the minimum frequency a level needs... 
min.freq <- 3350 

# Levels that don't meet minumum frequency (using data.table) 
fail.min.f <- dt[, .N, type][N < min.freq, type] 

# Call all these level "Other" 
levels(dt$type)[fail.min.f] <- "Other" 

Answer 2

Вот подход с использованием base R:

set.seed(123) 
d <- data.frame(x = sample(LETTERS[1:5], 1e5, prob = c(.4, .3, .2, .05, .05), replace = TRUE)) 

recat <- function(x, new_cat, threshold) { 
    x <- as.character(x) 
    xt <- prop.table(table(x)) 
    factor(ifelse(x %in% names(xt)[xt >= threshold], x, new_cat)) 
} 

d$new_cat <- recat(d$x, "O", 0.1) 
table(d$new_cat) 
#  A  B  C  O 
# 40132 29955 19974 9939 

Answer 3

В R пакет forcats имеет fct_lump() для этой цели.

library(forcats) 
fct_lump(f, n) 

Где f является фактором и n является число наиболее распространенных уровней, которые будут сохранены. Остальные перекодируются в Other.

Answer 4

Я не думаю, что вы хотите сделать это таким образом. Группирование многих уровней в одну группу может сделать эту функцию менее прогностической. То, что вы хотите сделать, это поставить все уровни, которые будут идти в Другие в кластер, основанный на метрике подобия. Некоторые из них могут группироваться с уровнями верхнего уровня, а некоторые могут группироваться вместе, чтобы обеспечить лучшую производительность.

У меня была аналогичная проблема, и она сама ответила here. Для моей метричности сходства я использовал матрицу близости от случайной лесной регрессии, подходящей для всех функций, кроме той, которая есть. Разница в моем решении заключается в том, что некоторые из моих самых распространенных типов K могут быть объединены вместе, поскольку я использую k-mediods для кластера. Вы хотели бы изменить алгоритм кластера, чтобы ваши медиады были выбранными вами топ-K.