создать ROC из 10 различных пороговых значений

Question

У меня есть выход из svmlight, который имеет x = прогнозы (0,1, -0,6,1,2, -0,7 ...), y = фактический класс {+ 1, -1}. Я хочу создать кривую ROC для 10 различных разных пороговых значений (пусть t - вектор, содержащий 10 различных пороговых значений). Я проверил пакет ROCR, но я не видел никакой опции для подачи порогового вектора. Мне нужно рассчитать TPR и FPR для каждого порогового значения и графика. Есть ли другой способ сделать это? Я новичок в программировании R.

Answer 1

ROCR создает кривую ROC путем построения TPR и FPR для множества разных пороговых значений. Это можно сделать только с помощью одного набора прогнозов и меток, потому что, если наблюдение классифицируется как положительное для одного порога, оно также будет классифицироваться как положительное при более низком пороге. Я нашел this paper, чтобы более подробно объяснить кривые ROC.

Вы можете создать сюжет следующим образом в ROCR где х есть вектор предсказаний, и у есть вектор класса меток:

pred <- prediction(x,y) 
perf <- performance(pred,"tpr","fpr") 
plot(perf) 

Если вы хотите получить доступ к TPR и FPR, связанный со всеми пороги, вы можете проверить производительность объекта «Perf»:

str(perf) 

следующий ответ показывает, как получить пороговые значения более подробно:

https://stackoverflow.com/a/16347508/786220

Answer 2

Вы можете сделать это с помощью пакета pROC. Сначала создайте кривую ROC (для всех порогов):

myROC <- roc(y, x) # with the x and y you defined in your question 

И тогда вы запрашиваете это кривой для 10 (или любого количества) пороговых значения, которые Вы сохранили в t:

coords(myROC, x = t, input="threshold", ret = c("threshold", "se", "sp")) 

Чувствительность является вашим TPR, а специфика - ваш FPR.

---

Отказ от ответственности: Я являюсь автором pROC.