Я построил модель с препятствиями, а затем использовал эту модель для прогнозирования из известных неизвестных точек данных с помощью команды прогнозирования. Есть ли способ проверить модель и эти прогнозы? Должен ли я сделать это в двух частях, например, используя чувствительность и специфичность для биномиальной части модели? Любые другие идеи по оценке действительности этой модели?Проверка модели барьера?
Для проверки прогностических моделей я обычно доверяю Cross-Validation.
Вкратце: с перекрестной проверкой вы можете измерить прогностическую производительность вашей модели, используя только данные обучения (данные с известными результатами). Таким образом, вы можете получить общее мнение о том, как работает ваша модель. Кросс-валидация работает достаточно хорошо для самых разных моделей. Недостатком является то, что он может очень тяжело вычислять.
С большими наборами данных достаточно 10-кратной перекрестной проверки. Чем меньше ваш набор данных, тем больше «сгибов» вам нужно сделать (т. Е. С очень маленькими наборами данных, вам нужно сделать перекрестную проверку остаточным)
С перекрестной проверкой вы получаете прогнозы на весь набор данных. Затем вы можете сравнить эти прогнозы с фактическими результатами и оценить, насколько хорошо ваша модель выполнена.
Перекрестно подтвержденные результаты могут быть немного понятны при более сложных сравнениях, но для вашего общего вопроса «как оценить правильность модели» результаты должны быть довольно просты в использовании.