Как автоматически исключить невидимые новые уровни факторов в pred.randomForest?

Question

Я использую пакет ramdomForest для создания случайной модели леса. Майские наборы данных огромны, и более миллиона наблюдений имеют более 200 переменных. Во время обучения случайному лесу с образцовыми данными я не могу зафиксировать все уровни факторов всех переменных.

Таким образом, при прогнозировании при проверке, установленном с использованием predict(), это вызывает ошибку при наличии новых уровней факторов, которые не учитываются в данных обучения.

Одним из решений является обеспечение того, чтобы переменные данных обучения содержали все уровни факторов. Но это оказалось очень утомительным, и мне действительно не нужны все уровни факторов.

Существует ли способ автоматического исключения наблюдений из набора проверки, который содержит предыдущие неопознанные уровни факторов во время работы predict() в пакете randomForest? Может найти любой аргумент для этого в документе CRAN. Я не думаю, что смогу сделать воспроизводимый пример для этого.

Answer 1

Одним из решений является объединение Тренировочной и тестовой матриц и использование as.factor на комбинированной матрице. Затем разделить на поезд и тест снова. Я столкнулся с такой же проблемой в случайном лесу, и это решение сработало для меня.

, например:

combine <- rbind(Train,Test) 
    combine$var1 <- as.factor(combine$var1) 

    ##Then split into Test and Train 
    Train$var1 <- combine[1:nrow(train)] 

    similar for Test. 

Надеется, что это помогает!