Тренировочная проверка Набор тестов для набора данных для выражения лица

Question

Я использую сверточные нейронные сети (CNN), и я просто хочу спросить, правильно ли я разделяю мой набор для обучения/проверки/тестирования.

У меня есть в общей сложности 55 предметов. Я планирую разбить их на 80-10-10 для обучения (45 предметов), валидацию (невидимые 5 предметов), тестирование (невидимые 6 предметов).

Должен ли набор валидации состоять из невидимых предметов? Или я могу перетасовать весь набор тренировок и использовать его часть (10-20%) в качестве набора валидации?

Я прочитал, что с использованием перекрестной проверки N-Fold весь набор тренировок (экземпляров) перетасовывается, затем разбивается на N-folds, и модель обучается и усредняется N раз. Однако в случае с Neural Networks или CNN мы не используем кросс-валидацию, поскольку она очень дорого вычисляется.

Мне просто интересно, что правильно, так как с помощью набора проверенных невидимых предметов моя модель начинает наматываться после 3-5 эпох и вообще не учится. С другой стороны, если я использую 10-20% набора тренировок в качестве моей проверки, моя модель учится с разумной точностью (45-50%) с использованием трехслойного CNN, но при тестировании с невидимым набором тестов мой Точность top-1 составляет только 15-16%.

спасибо.

Answer 1

В целом, нет правила; есть едва ли правило. Большая часть работы по разработке топологии и модели заключается в настройке гиперпараметров; коэффициент валидации поезда-теста является лишь одним из них. Типичные расщепления очень примерно 2: 1: 1, с большим количеством вариаций, в зависимости от цели и набора данных. Я начинаю подвергать сомнению разделение, если тренировка составляет менее 50%, либо тест или подтверждение составляет менее 20% (хотя иногда полезно 15%, особенно если набор данных слишком мал).

«Правильно» во многом зависит от вашей конечной цели для модели. Если вы ожидаете, что он будет обрабатывать новые предметы, то, конечно, вы должны включить невидимые предметы для тестирования и проверки. Если вам нужно только хорошо различать данные для данной темы, тогда вам понадобится сбалансированный микс, возможно, 45: 10: 0 - в этом случае вы бы добро пожаловать переустановить.

Если вы ожидаете обработки выражений из общего населения (новые предметы), то я считаю, что вам не хватает учебных предметов. Чтобы правильно настроить такую ​​модель, вам нужно достаточно, чтобы вы могли играть с пропорциями, и даже что-то такое же тонкое, как 8: 1: 1, должно дать вам результаты, которые вы можете признать полезными.