Построение кривой ROC в R

Question

Я делаю ансамблевые прогнозы на количество. И у меня около 20 значений прогноза в каждой точке наблюдения. У меня будет определение события x%, то есть 95% наивысшего значения наблюдения. Я пытаюсь построить кривую ROC с использованием R:

1. Является ли ROCR хорошим пакетом для вероятностного балла ROC?
2. Можете ли вы привести пример того, как построить эту кривую ROC?

Просто предположим, что поддельный набор данных.

Я читаю все виды бумаг. Но я очень смущен относительно того, как рассчитать вероятности прогноза.

Answer 1

Я бы рекомендовал вам посмотреть на caretpackage. Это замечательно для обучения в ансамбле. Он будет настраивать ваши параметры для вас на основе RMSE, ROC (AUC) и т. Д. Путем перекрестной проверки. Это разбивает ваши данные на образцы с заменой, запускает тонны моделей при настройке параметров и возвращает вам лучшую модель.

vignette (указан на странице с упаковкой) здесь отлично, и вы увидите примеры, показывающие графики кривых ROC.

Однако, если вы ищете простой метод для расчета оценки ROC от прогнозов и данных, ознакомьтесь со страницей 11 из this pdf.