Как выполнить загрузочный парный t-тест в R?

Question

Я хотел бы выполнить загруженный парный t-тест в R. Я пробовал это для нескольких наборов данных, которые возвращали p < .05 при использовании параметрического парного t-теста, однако, когда я запускаю загрузку, я получаю p-значения между 0,4 и 0,5. Я выполняю это неправильно?

differences<-groupA-groupB 
    t.test(differences) #To get the t-statistic e.g. 1.96 

    Repnumber <- 10000     
    tstat.values <- numeric(Repnumber)  
    for (i in 1:Repnumber) { 
    group1 = sample(differences, size=length(differences), replace=T) 
    tstat.values[i] = t.test(group1)$statistic 
    } 

    #### To get the bootstrap p-value compare the # of tstat.values 
    greater (or lesser) than or equal to the original t-statistic divided 
    by # of reps: 

    sum(tstat.values<=-1.96)/Repnumber 

Спасибо!

Answer 1

Похоже, вы сравниваете яблоки и апельсины. Для единственного t-теста differences вы получаете t-статистику, которая, если больше критического значения, указывает, отличается ли разница между group1 и group2 от нуля. Ваш код начальной загрузки делает то же самое, но для 10 000 загруженных образцов differences дает вам оценку изменения t-статистики по различным случайным выборкам из числа differences. Если вы возьмете среднее значение этой загруженной t-статистики (mean(tstat.values)), вы увидите, что она примерно такая же, как и одна t-статистика из полного образца differences.

sum(tstat.values<=-1.96)/Repnumber дает вам процент загруженной t-статистики менее -1,96. Это оценка процента времени, когда вы получите t-статистику менее -1,96 в повторных случайных выборках из вашего населения. Я думаю, что это, по сути, оценка мощности вашего теста, чтобы определить разницу заданного размера между group1 и group2 для заданного размера выборки и уровня значимости, хотя я не уверен, насколько прочен такой анализ мощности.

С точки зрения правильной загрузки t-теста, я думаю, что вам действительно нужно сделать какой-то тест перестановки, который проверяет, являются ли ваши фактические данные outlier по сравнению с многократным перетасовкой меток ваших данных и выполнением t-тест на каждый перетасованный набор данных. Вы можете задать вопрос по адресу CrossValidated, чтобы получить рекомендации относительно того, как это сделать правильно для ваших данных. Эти CrossValidated ответы могут помочь: here, here, и here.