R: llply полностью воспроизводимые результаты в параллельном режиме

Question

Какие изменения я должен сделать, чтобы иметь воспроизводимый результат здесь? Я запускаю его несколько раз, и вектор результата отличается. Спасибо за любую помощь.

cl <- makeCluster(2) 

registerDoParallel(2) 

set.seed(123) 

results <- unlist(llply(seq_along(1:4), .fun = function(x){ 
    runif(1)} ,.parallel = T, 
    .paropts = list(.export=ls(.GlobalEnv)))) 


stopCluster(cl) 

Answer 1

Следующий пример даст воспроизводимые результаты на Linux, Mac OS X и Windows:

library(plyr) 
library(doParallel) 
cl <- makeCluster(2) 
registerDoParallel(cl) 
opts <- list(preschedule=TRUE) 
clusterSetRNGStream(cl, 123) 
r <- llply(1:20, 
      .fun = function(x) runif(10), 
      .parallel = TRUE, 
      .paropts = list(.options.snow=opts)) 

Опция preschedule=TRUE необходима для предотвращения doParallel с помощью балансировки нагрузки, которые сделали бы отображение задач для рабочих непредсказуемым.

Если вы используете Linux или Mac OS X, и вы хотите doParallel использовать mclapply, вы могли бы использовать этот подход:

if (.Platform$OS.type != "windows") { 
    registerDoParallel(2) 
    RNGkind("L'Ecuyer-CMRG") 
    set.seed(123) 
    mc.reset.stream() 
    r <- llply(1:20, 
      .fun = function(x) runif(10), 
      .parallel = TRUE) 
} 

Это работает, потому что mclapply использует prescheduling по умолчанию. Он не будет работать в Windows, потому что doParallel будет неявно создавать объект кластера, а инициализация RNG не будет иметь никакого эффекта.

Обратите внимание, что в вашем примере вы создаете объект кластера, но не регистрируете его, поэтому он не будет использоваться doParallel. Вы должны использовать registerDoParallel(cl), иначе doParallel будет либо использовать mclapply на компьютере Posix, либо неявно созданный объект кластера на компьютере под управлением Windows. Очевидно, что очень важно инициализировать работников кластера, которые будут выполнять параллельные вычисления.