Рассчитать AUC в R?

Question

Учитывая вектор оценок и вектор фактических ярлыков классов, как вы вычисляете показатель AUC с одним номером для бинарного классификатора на языке R или просто на английском?

Страница 9 из "AUC: a Better Measure...", кажется, требует знания метки класса, а вот an example in MATLAB где я не понимаю

R(Actual == 1)) 

Поскольку R (не следует путать с языком R) определяется вектор, но используется как функция?

Answer 1

Как уже отмечалось другими, вы можете вычислить АУК с помощью ROCR пакета. С пакетом ROCR вы также можете построить кривую ROC, кривую подъема и другие меры выбора модели.

Вы можете вычислить AUC напрямую, не используя какой-либо пакет, используя тот факт, что AUC равно вероятности того, что истинный положительный результат будет больше, чем истинный отрицательный.

Например, если pos.scores представляет собой вектор, содержащий оценку положительных примеров, и neg.scores представляет собой вектор, содержащий отрицательные примеры, то АУК аппроксимируется:

> mean(sample(pos.scores,1000,replace=T) > sample(neg.scores,1000,replace=T)) 
[1] 0.7261 

даст приближение AUC , Вы также можете оценить дисперсию ППК бутстрапом:

> aucs = replicate(1000,mean(sample(pos.scores,1000,replace=T) > sample(neg.scores,1000,replace=T))) 

Answer 2

The ROCR package рассчитает АУК среди других статистических данных:

auc.tmp <- performance(pred,"auc"); auc <- as.numeric(auc.tmp@y.values) 

Answer 3

С пакетом pROC вы можете использовать функцию auc() как в этом примере со страницы справки:

> data(aSAH) 
> 
> # Syntax (response, predictor): 
> auc(aSAH$outcome, aSAH$s100b) 
Area under the curve: 0.7314 

link to pROC

Answer 4

Обычно я использую функцию ROC из пакета DiagnosisMed. Мне нравится график, который он производит. AUC возвращается вместе с его доверительным интервалом, и он также упоминается на графике.

ROC(classLabels,scores,Full=TRUE) 

Answer 5

Вдоль линий связи Erik, вы также должны быть в состоянии вычислить РПЦ непосредственно путем сравнения всех возможных пар значений из pos.scores и нег. Счет:

score.pairs <- merge(pos.scores, neg.scores) 
names(score.pairs) <- c("pos.score", "neg.score") 
sum(score.pairs$pos.score > score.pairs$neg.score)/nrow(score.pairs) 

Конечно менее эффективный, чем подход образца или Proc :: АУК, но более стабильный, чем первый, и требует меньше установки, чем последняя.

Относительно: когда я попробовал это, он дал аналогичные результаты для значения pROC, но не совсем то же самое (выключено на 0,02 или около того); результат был ближе к примерному подходу с очень высоким N. Если у кого-то есть идеи, почему это может быть интересно.

Answer 6

Без каких-либо дополнительных пакетов:

true_Y = c(1,1,1,1,2,1,2,1,2,2) 
probs = c(1,0.999,0.999,0.973,0.568,0.421,0.382,0.377,0.146,0.11) 

getROC_AUC = function(probs, true_Y){ 
    probsSort = sort(probs, decreasing = TRUE, index.return = TRUE) 
    val = unlist(probsSort$x) 
    idx = unlist(probsSort$ix) 

    roc_y = true_Y[idx]; 
    stack_x = cumsum(roc_y == 2)/sum(roc_y == 2) 
    stack_y = cumsum(roc_y == 1)/sum(roc_y == 1)  

    auc = sum((stack_x[2:length(roc_y)]-stack_x[1:length(roc_y)-1])*stack_y[2:length(roc_y)]) 
    return(list(stack_x=stack_x, stack_y=stack_y, auc=auc)) 
} 

aList = getROC_AUC(probs, true_Y) 

stack_x = unlist(aList$stack_x) 
stack_y = unlist(aList$stack_y) 
auc = unlist(aList$auc) 

plot(stack_x, stack_y, type = "l", col = "blue", xlab = "False Positive Rate", ylab = "True Positive Rate", main = "ROC") 
axis(1, seq(0.0,1.0,0.1)) 
axis(2, seq(0.0,1.0,0.1)) 
abline(h=seq(0.0,1.0,0.1), v=seq(0.0,1.0,0.1), col="gray", lty=3) 
legend(0.7, 0.3, sprintf("%3.3f",auc), lty=c(1,1), lwd=c(2.5,2.5), col="blue", title = "AUC") 

Answer 7

Объединяя код из ISL 9.6.3 ROC Curves, наряду с @J. Ответ Won на этот вопрос и еще несколько мест, следующие графики кривой ROC и печатает AUC в нижней правой части графика.

Ниже probs представляет собой числовой вектор прогнозируемых вероятностей для двоичной классификации и test$label содержит истинные метки тестовых данных.

require(ROCR) 
require(pROC) 

rocplot <- function(pred, truth, ...) { 
    predob = prediction(pred, truth) 
    perf = performance(predob, "tpr", "fpr") 
    plot(perf, ...) 
    area <- auc(truth, pred) 
    area <- format(round(area, 4), nsmall = 4) 
    text(x=0.8, y=0.1, labels = paste("AUC =", area)) 

    # the reference x=y line 
    segments(x0=0, y0=0, x1=1, y1=1, col="gray", lty=2) 
} 

rocplot(probs, test$label, col="blue") 

Это дает сюжет так:

Answer 8

Я нашел некоторые из решений здесь быть медленным и/или сбивает с толку (и некоторые из них не поддерживают связей правильно) так Я написал свою собственную data.table функцию auc_roc() в моем пакете R mltools.

library(data.table) 
library(mltools) 

preds <- c(.1, .3, .3, .9) 
actuals <- c(0, 0, 1, 1) 

auc_roc(preds, actuals) # 0.875 

auc_roc(preds, actuals, returnDT=TRUE) 
    Pred CountFalse CountTrue CumulativeFPR CumulativeTPR AdditionalArea CumulativeArea 
1: 0.9   0   1   0.0   0.5   0.000   0.000 
2: 0.3   1   1   0.5   1.0   0.375   0.375 
3: 0.1   1   0   1.0   1.0   0.500   0.875 

Answer 9

В настоящее время верхний проголосовавший ответ неверен, поскольку он игнорирует связи. Когда положительные и отрицательные оценки равны, тогда AUC должно быть 0,5. Ниже приведен пример с исправлением.

computeAUC <- function(pos.scores, neg.scores, n_sample=100000) { 
    # Args: 
    # pos.scores: scores of positive observations 
    # neg.scores: scores of negative observations 
    # n_samples : number of samples to approximate AUC 

    pos.sample <- sample(pos.scores, n_sample, replace=T) 
    neg.sample <- sample(neg.scores, n_sample, replace=T) 
    mean(1.0*(pos.sample > neg.sample) + 0.5*(pos.sample==neg.sample)) 
}