Команда sample() слишком медленная в R

Question

Я хочу создать произвольное подмножество data.tabledf, которое очень велико (около 2 миллионов строк). Таблица данных имеет столбец веса, wgt, который показывает, сколько наблюдений каждая строка представляет. Для создания вектора номеров строк, которые я хочу, чтобы извлечь, я поступайте следующим образом:

я получить точное количество наблюдений:

ns<- length(df$wgt) 

я получаю количество требуемых линий (30% выборки):

lines<-round(0.3*ns) 

Я вычислить вектор вероятностей:

pr<-df$wgt/sum(df$wgt) 

А потом вычислить вектор номеров строк, чтобы получить подвыборки:

ssout<-sample(1:ns, size=lines, probs=pr) 

Конечная цель состоит в том, чтобы подмножество данных с помощью df[ssout,]. Однако R зацикливается при вычислении ssout.

Есть ли более быстрый/более эффективный способ сделать это?

Спасибо!

Answer 1

Я предполагаю, что df - это краткое описание набора данных с повторными наблюдениями (с wgt, являющимся счетчиком повторений). В этом случае единственным полезным способом отбора из него будет замена; и собственно 30% выборка будет 30% от реального населения, .3*sum(wgt): ряды

# example data 
wgt <- sample(10,2e6,replace=TRUE) 
nobs<- sum(wgt) 
pr <- wgt/sum(wgt) 

# select rows 
system.time(x <- sample.int(2e6,size=.3*nobs,prob=pr,replace=TRUE)) 
# user system elapsed 
# 0.20 0.02 0.22 

Выборочных без замены принимает навсегда на моем компьютере, но и то, что я не думаю, что нужно сделать здесь.