Вычислить среднее различие для каждой строки и для каждой группы

Question

У меня есть data.frame со многими строками и столбцами, и я хочу рассчитать среднее различие каждого значения для каждого из других значений внутри группы.
Вот пример:

ID value 
1 4 
1 5 
1 7 
2 8 
2 6 
2 5 
2 6 

Это то, что я хочу, чтобы вычислить:

ID value value_mean_diff 
1 4  (4-5)^2 + (4-7)^2 /groupsize = 3 
1 5  (5-4)^2 + (5-7)^2/3 
1 7  (7-4)^2 + (7-5)^2/3 
2 8  (8-6)^2 + (8-5)^2 + (8-6)^2/4 
2 6  (6-8)^2 + (6-5)^2 + (6-6)^2/4 
2 5  (5-8)^2 + (5-6)^2 + (5-6)^2/4 
2 6  (6-8)^2 + (6-6)^2 + (6-5)^2/4 

Я попытался с помощью агрегата(), но не смог заставить его работать.

Answer 1

Раствора с помощью crossjoin в data.table библиотеки с дефектом удаления дублированных строк из исходного кадра данных:

> dt <- setDT(df)[,setNames(CJ(value, value), c("value", "value1")), .(ID)][,.(value_mean_diff = sum((value-value1)^2)/.N),.(ID, value)] 
> dt 
    ID value value_mean_diff 
1: 1  4  3.333333 
2: 1  5  1.666667 
3: 1  7  4.333333 
4: 2  5  2.750000 
5: 2  6  1.250000 
6: 2  8  4.250000 

Поскольку дублированные строки всегда имеют один и те же value_mean_diff, вы всегда можете объединить их, чтобы получить все дублированные строки.

> merge(dt, df, by = c("ID", "value")) 
    ID value value_mean_diff 
1: 1  4  3.333333 
2: 1  5  1.666667 
3: 1  7  4.333333 
4: 2  5  2.750000 
5: 2  6  1.250000 
6: 2  6  1.250000 
7: 2  8  4.250000 

Update: Поскольку выше метода является большой объем памяти, вы можете воспользоваться тем, что ваши value_mean_diff = (значение - value_mean)^2 + дисперсия (значение), которые вы можете доказать путем расширения дисперсии на основе ее определения. При этом, как факт, можно рассчитать следующим образом:

> setDT(df)[, value_mean_diff := (value - mean(value))^2 + var(value) * (.N - 1)/.N, .(ID)] 
> df 
    ID value value_mean_diff 
1: 1  4  3.333333 
2: 1  5  1.666667 
3: 1  7  4.333333 
4: 2  8  4.250000 
5: 2  6  1.250000 
6: 2  5  2.750000 
7: 2  6  1.250000 

Имейте в виду, что var() функция R вычислить дисперсию выборки, так что вам нужно, чтобы преобразовать его в дисперсии генеральной совокупности путем умножения коэффициента (п -1)/n.

Answer 2

Вот решение, используя только базовый R:

myData <- data.frame(ID=c(1,1,1,2,2,2,2), value=c(4,5,7,8,6,5,6), diff=NA) 
for(i in 1:nrow(myData)) 
    myData$diff[i] <- with(data = myData, 
     sum((value[i] - value[ID==ID[i]])**2)/length(value[ID==ID[i]])) 

myData 

    ID value  diff 
1 1  4 3.333333 
2 1  5 1.666667 
3 1  7 4.333333 
4 2  8 4.250000 
5 2  6 1.250000 
6 2  5 2.750000 
7 2  6 1.250000