Объединить данные тренировки и данные валидации, как выбрать гиперпараметры?

Question

Предположим, что я разделил свои данные на набор тренировок и набор валидации. Я выполняю 5-кратное кросс-валидацию на своем тренировочном наборе, чтобы получить оптимальные гиперпараметры для моей модели, затем я использую оптимальные гиперпараметры для обучения модели и применения полученной модели в моем наборе проверки. Мой вопрос в том, разумно ли комбинировать набор обучения и проверки и использовать гиперпараметры, полученные из набора для создания окончательной модели?

Answer 1

Это нормально, если данные для обучения были относительно небольшими. и добавление набора валидации делает вашу модель значительно более сильной. Однако в то же время добавление новых данных делает ваши ранее выбранные гиперпараметры возможными субоптимальными (очень сложно показать, какое преобразование гиперпараметров вам необходимо применять, когда вы добавляете новые данные в свой набор обучения). Таким образом, вы балансируете две вещи: выигрываете в качестве модели из большего количества данных и возможных потерь из-за того, что трудно предсказать изменение значения гиперпараметров. В какой-то степени вы можете имитировать этот процесс, чтобы убедиться, что это имеет смысл, если у вас есть N баллов в данных обучения и M в валидации, вы можете попытаться разделить обучение дальше на куски с одинаковой пропорцией (таким образом, теперь N * (N/(N + M) и другие N * (M/(N + M))), поезда на первом и проверьте, передаются ли оптимальные гиперпараметры (более или менее) на оптимальные по всему набору тренировок - если это так, вы могут безопасно добавлять валидацию, так как они должны также переноситься. Если они этого не делают, риск может не быть полезен.