Каков самый быстрый способ обновления набора данных в R?

Question

У меня есть набор данных 20000 * 5. В настоящее время он обрабатывается итеративно, и набор данных постоянно обновляется на каждой итерации.

Ячейки в data.frame обновляются на каждой итерации и ищут некоторую помощь в быстром выполнении этих задач. Поскольку это небольшой data.frame, я не уверен, что data.table будет работать нормально.

Вот ориентиры для data.frame subassignment:

sessionInfo() 
R version 3.2.4 Revised (2016-03-16 r70336) 
Platform: x86_64-w64-mingw32/x64 (64-bit) 
Running under: Windows Server >= 2012 x64 (build 9200) 
set.seed(1234) 
test <- data.frame(A = rep(LETTERS , 800), B = rep(1:26, 800), C=runif(20800), D=runif(20800) , E =rnorm(20800)) 
microbenchmark::microbenchmark(test[765,"C"] <- test[765,"C"] + 25) 
Unit: microseconds 
            expr  min  lq  mean median  uq  max neval 
test[765, "C"] <- test[765, "C"] + 25 112.306 130.8485 979.4584 186.3025 197.7565 44556.15 100} 

Есть ли способ для достижения указанной выше функции быстрее, чем то, что я писал?

Answer 1

Любопытно, что если вы используете таблицу данных, на первый взгляд это не кажется более быстрым. Возможно, он становится быстрее при использовании назначения внутри цикла.

library(data.table) 
library(microbenchmark) 
dt <- data.table(test) 

# Accessing the entry 
dt[765, "C", with = FALSE] 

# Replacing the value with the new one 
# Basic data.table syntax 
dt[i =765, C := C + 25 ] 

# Replacing the value with the new one 
# using set() from data.table 
set(dt, i = 765L, j = "C", value = dt[765L,C] + 25) 

microbenchmark(
     a = set(dt, i = 765L, j = "C", value = dt[765L,C] + 25) 
    , b = dt[i =765, C := C + 25 ] 
    , c = test[765, "C"] <- test[765, "C"] + 25 
    , times = 1000  
) 

Результаты microbenchmark:

            expr  min  lq  mean median  uq  max neval 
a = set(dt, i = 765L, j = "C", value = dt[765L, C] + 25) 236.357 46.621 266.4188 250.847 260.2050 572.630 1000 
b = dt[i = 765, `:=`(C, C + 25)]       333.556 345.329 375.8690 351.668 362.6860 1603.482 1000 
c = test[765, "C"] <- test[765, "C"] + 25    73.051 81.805 129.1665 84.220 87.6915 1749.281 1000 

Answer 2

Вы можете начать только с руководством по ?set функции. В примере вы найдете код, который вы можете использовать для сравнения. Я просто перезапустил его и получил следующие тайминги.

library(data.table) 
m = matrix(1, nrow = 2e6L, ncol = 100L) 
DF = as.data.frame(m) 
DT = as.data.table(m)  

system.time(for (i in 1:1000) DF[i, 1] = i) 
# user system elapsed 
# 3.048 1.512 24.854 
system.time(for (i in 1:1000) DT[i, V1 := i]) 
# user system elapsed 
# 0.232 0.000 0.259 
system.time(for (i in 1:1000) set(DT, i, 1L, i)) 
# user system elapsed 
# 0.000 0.000 0.002 

В идеале вы должны проверить сценарий обновления данных о ваших данных и масштаба, чтобы правильно измерить, который является «самым быстрым». Также не забудьте проверить использование памяти, используя [<- на матрице, похоже, использует больше памяти, чем data.table, если вы закончите замену, это будет медленнее.