Как эффективно выполнять итерацию через сложную функцию, которая выводит данные?

Question

Мне необходимо выполнить итерацию через набор значений для параметров A,B,C, чтобы создать таблицу результатов, которая поможет мне проанализировать важность таких параметров. Это для программы в R.

Допустим, что:

1. A идет от rangeA = 1:10
2. B идет от rangeB = 11:20
3. C идет от rangeC = 21:30

Самый простой (не наиболее эффективное) решение, которое я сейчас использую, выглядит примерно так:

### here I create this empty dataframe because I add on each tmp calc later 
res <- data.frame() 

### here i just create a random dataframe for replicative purposes 
dataset <- data.frame(replicate(10,sample(0:1,1000,rep=TRUE))) 


ParameterAdjustment() <- function{ 

    for(a in rangeA){ 
    for(b in rangeB){ 
    for(c in rangeC){ 

    ### this is a complicated calculation that is much more 
    ### difficult than the replicable example below 
    tmp <- CalculateSomething(dataset,a,b,c) 

    ### an example calculation 
    ### EDIT NEW EXAMPLE CALCULATION 
    tmp <- colMeans(dataset+a*b*c) 
    tmp <- data.frame(data.frame(t(tmp),sd(tmp)) 

    res <- rbind(res,tmp) 
    } 
    } 
    } 

return(res) 
} 

Моя проблема заключается в том, что это отлично работает с моим исходным набором данных, который выполняет вычисления на 7000x500 фрейм данных. Однако мои новые наборы данных намного больше, и производительность стала важной проблемой. Может ли кто-нибудь предложить или помочь с более эффективным решением? Спасибо.

Answer 1

Не знаете, на каком языке вы упомянули выше, поэтому не уверены, насколько это уместно, но здесь идет: вы выводите/отправляете данные по ходу или собираете все результаты отображения в памяти, а затем выводите их все за один раз в конец? Когда я столкнулся с подобными проблемами с большими наборами данных, и этот подход несколько раз помог мне. Например, отправка 10000 точек данных обратно клиенту для графика, а не создание массива всех этих точек и отправка его, я выводю на экран после каждой точки, а затем освобождаю память. Это все еще занимает некоторое время, но это неизбежно. Важным является то, что он не падает.