Я работаю над базой данных с наблюдением около 250000 и 50 предикторами (некоторые из них являются факторами, поэтому в конце около 100 функций), и у меня есть проблемы с использованием функции blackboost() (из mboost пакет), которые дают мне ошибку выделения памяти.Разница в использовании памяти между gbm и blackboost
В то же время gbm() не имеет проблем с объемом данных. Согласно документации, алгоритм, используемый blackboost, такой же, как gbm. ("http://cran.r-project.org/web/packages/mboost/mboost.pdf").
Это не понятно, почему одна функция может управлять базой данных, а не другой, мои догадки:
- GBM имеет стратегию субдискретизации (установленный «bag.fraction» аргумент), который Безразлично» t, похоже, реализованы в blackboost и влияют на использование памяти.
- GBM использовать функцию КОРЗИНА строить деревья и blackboost использовать Ctree, которые, кажется, огромный объем памяти (How to remove training data from party:::ctree models?)
Я хочу использовать() функцию потерь АУК доступны в mboost, но не в GBM , поэтому мне было бы интересно любое предложение преодолеть ограничения использования памяти blackboost.
Еще один дополнительный вопрос, когда я пытаюсь уменьшить число переменных в моей модели, я получаю эту новую ошибку из blackboost:
Error in matrix(f[ind1], nrow = n0, ncol = n1, byrow = TRUE) : the length of the data [107324] is not a multiple of the number of lines [152107]
Это, кажется, исходит из ППК функции градиента.
Благодарим за помощь.