Параллельная обработка в R

Question

Я работаю с пользовательской случайной функцией леса, которая требует как начальной, так и конечной точки в наборе геномных данных (около 56 тыс. Столбцов).

Я хотел бы разбить номера столбцов на подгруппы и позволить каждой подгруппе обрабатываться индивидуально, чтобы ускорить процесс. Я попробовал это (безуспешно) с помощью следующего кода:

library(foreach) 
library(doMC) 
foreach(startMrk=(markers$start), endMrk=(markers$end)) %dopar% 
    rfFunction(genoA,genoB,0.8,ntree=100,startMrk=startMrk,endMrk=endMrk) 

Где STARTMRK массив числовых переменных: 1 4 8 12 16 и endMrk еще один массив: 3 7 11 15 19

Для этого примера я хочу одно ядро ​​для запустить образцы 1: 3, другой запустить 4: 7 и т. д. Я новичок в идее параллельной обработки в R, поэтому я более чем готов изучить любую имеющуюся документацию. Кто-нибудь имеет советы по вещам, которые мне не хватает для параллельной обработки или для вышеуказанного кода?

Answer 1

Основной момент заключается в том, что вы разбиваете свои столбцы на куски, справа. Во-первых, было бы лучше, если бы на каждом этапе итерации было аккуратно распределить ваш набор данных и подавать куски в РФ. Кроме того, Еогеасп работает так же, как и для некоторых способов, так что код может быть

rfs=vector('list',4) 
foreach(i=1:4) %dopar% { 
    ind <- markers$start[i]:markers$end[i] 
    rfs[[i]] <- randomForest(genoA[,ind],genoB[,ind], 0.8, ntree=100) 
} 

Я дал это в очередной RandomForest, но вы можете обернуть это в пользовательский код простым способом.