Как осуществляется перекрестная проверка?

Question

В настоящее время я пытаюсь обучить нейронную сеть с использованием перекрестной проверки, но я не уверен, что я получаю, как работает перекрестная проверка. Я понимаю концепцию, но я не могу полностью понять, как концепция переводится на реализацию кода. Ниже приведено описание того, что я реализовал, что более или менее угадывает.

Я разделил весь набор данных на K-folds, где 1 fold - это набор проверки, 1-кратный набор тестов, а данные в оставшихся сложениях сбрасываются в обучающий набор.

Затем I цикл K раз, каждый раз переназначая проверки и проверки на другие складки. В каждом цикле я постоянно тренирую сеть (обновляю весы), используя только набор тренировок, пока ошибка, создаваемая сетью, не встретит некоторый порог. Однако ошибка, которая используется для принятия решения о прекращении обучения, производится с использованием набора проверки, а не набора тренировок. После завершения обучения ошибка снова производится, но на этот раз с использованием набора тестов. Эта ошибка из набора тестов записывается. Наконец, все веса повторно инициализируются (с использованием того же генератора случайных чисел, который использовался для их первоначальной инициализации) или сброшены каким-то образом, чтобы отменить обучение, которое было выполнено, прежде чем перейти к следующему набору тестов для проверки, обучения и тестирования ,

Как только все петли K завершатся, ошибки, зарегистрированные на каждой итерации K-петли, усредняются.

Я выделил детали, в которых я больше всего смущен. Пожалуйста, дайте мне знать, допустили ли я какие-либо ошибки!

Answer 1

Я считаю, что ваша реализация Cross-проверки правильна. Чтобы ответить на ваши вопросы:

Однако ошибка, которая используется для принятия решения о прекращении обучения, производится с использованием набора проверки, а не набора тренировок.

Вы хотите использовать эту ошибку для проверки, потому что она уменьшает overfitting. Именно по этой причине вы всегда хотите иметь набор валидаций. Если вы сделаете так, как предложили, вы можете иметь более низкий порог, ваш алгоритм достигнет более высокой точности обучения, чем точность проверки. Однако это будет плохо отображаться на невидимых примерах в реальном мире, которые, как предполагается, должны быть настроены для вашей проверки.

Наконец, все веса повторно инициализировать (используя тот же генератор случайных чисел, используемый для их инициализации изначально) или сброса каких-либо образом, чтобы отменить обучение, которое было сделано, прежде чем перейти к следующему набору проверки, обучения и тестирования.

Идея перекрестной проверки заключается в том, что каждая итерация похожа на обучение алгоритма с нуля. Это желательно, поскольку, усредняя свой балл проверки, вы получаете более надежную ценность. Он защищает от возможности предвзятого набора проверки.

Мое единственное предположение заключалось бы в том, чтобы не использовать тестовый набор в вашей схеме перекрестной проверки, так как ваш набор проверки уже моделирует невидимые примеры, отдельный тестовый набор во время перекрестной проверки является избыточным. Я бы вместо этого разделил данные на тренировочный и тестовый набор, прежде чем вы начнете перекрестную проверку. Я бы тогда не касался тестового набора, пока вы не захотите получить объективный балл для своего алгоритма.

Вы можете использовать свою оценку перекрестной проверки как показатель производительности на невидимых примерах, однако я предполагаю, что вы будете выбирать параметры на этот счет, оптимизируя свою модель для своего набора тренировок. Опять же, возникает такая возможность, которая не очень хорошо обобщает на невидимые примеры, поэтому хорошей практикой является сохранение отдельного набора невидимых тестов. Это используется только после того, как вы оптимизировали свой алгоритм.