Эффективная/многопоточная регрессия прогноза

Question

Я знаю, что есть много сообщений о проблемах с объемом памяти mclapply, но все же я пытаюсь выяснить, есть ли что-нибудь, что может помочь моему делу.

Я подгонка модели случайных лесов к ~ 600 по 60000 (ответ у на переменных матрицы X) матрица:

library(randomForest) 
fit <- randomForest(x=X,y=y) 

Затем я хочу, чтобы сравнить эту подгонку случайной формы и для того что Я делаю это:

library(parallel) 
set.seed(1) 
random.list <- mclapply(1:1000,function(f){ 
    idx <- shuffle(nrow(X)) 
    random.y <- predict(object=fit,newdata=X[idx,],type="response") 
}, mc.cores = ncores) 

К сожалению, это слишком большой объем памяти (требуется более 100GB), что делает его непрактичным.

BTW среда, в которой я работаю, это Linux.

Любые предложения?

Answer 1

Похоже, mclapply2 {snpEnrichment} - разумное легкое решение