Вложенная перекрестная проверка действительно необходима?

Question

У меня возникла проблема с моей процедурой перекрестной проверки. В настоящее время я просто зацикливаю (повторяю) над моими параметрами (например, C и гамма для RBF SVM) и выполняет внутреннюю перекрестную проверку «Оставшийся один».

Конечно, это может привести к предвзятости. Поэтому было бы лучше сделать вложенную перекрестную проверку, например внешнюю перекрестную проверку и внутреннюю 10-кратную перекрестную проверку.

Проблемы в том, что у меня только 37 точек данных, вложенная перекрестная проверка увеличивает время выполнения на много, и я также хочу напечатать, например, для k ближайших соседей k с точностью или количеством скрытых слоев снова точность (для нейронной сети), которая невозможна при вложенной перекрестной проверке.

Действительно ли существует большое смещение без использования вложенной перекрестной проверки или я могу пойти с моим единственным подходом к CV? Есть ли некоторые документы, в которых утверждается, что одна перекрестная проверка одобрена?

Answer 1

При вложенной перекрестной проверке вы найдете лучшие параметры для разных подмножеств данных (внешние складки). Я не могу сказать точно, насколько это будет больно, если вы не используете вложенное CV, но в соответствии с this discussion (который ссылается на this paper), это может быть заметно.

Теперь вы говорите, что хотите нарисовать количество скрытых слоев от точности. Это не то, как работает вложенное CV: вложенное CV говорит вам, среди прочего, о том, насколько вы можете положиться на выбор параметра, чтобы хорошо обобщать невидимые данные. Например, предположим, что вы выполняете поиск по сетке для 1, 2, 5, 10 скрытых слоев во внутреннем CV. Если результаты внешнего CV для скрытых слоев сильно различаются между сложениями, это означает, что вы не можете быть уверены, какое количество скрытых слоев будет хорошо обобщаться. Если все они выберут одинаковое количество скрытых слоев, это здорово.

Я предлагаю вам также прочитать this (в python, но это еще один пример того, что я хочу указать) и this, что является отличным объяснением того, что делает вложенное CV. Особый интерес представляет этот пункт:

Внешняя перекрестная проверка оценивает эффективность подхода подгонки модели. Для этого вы используете обычные предположения

Таким образом, вложенное CV показывает вам, насколько хорош ваш поиск гиперпараметров. На этом этапе вы не можете определить точность по сравнению с некоторым гиперпараметром. Вы можете видеть, выбран ли тот же самый гиперпараметр (или достаточно близко) для разных частей (складок) данных.

Если у вас много данных, попробуйте уменьшить количество функций или работать параллельно (вы упоминаете нейронные сети: они становятся намного менее медленными, если они запускаются на графическом процессоре).

Answer 2

С статистической точки зрения, что бы вы ни делали с 37 точек данных не будет статистическим звуком. Даже самый точный анализ не будет обобщаться ни на что выше этого набора данных. Вместо того, чтобы анализировать и проводить время на тестах, вы должны сделать все возможное, чтобы получить больше данных.

Если у вас есть больший набор данных, то «одиночное резюме» почти всегда будет переоценивать ваши результаты. Размер этого смещения трудно определить, на самом деле, насколько я знаю, можно показать, что он фактически неограничен. См. Раздел 7.10.2 в статьях Элементы статистического обучения Хасти и Тиббирани.