MLP: Когда уменьшено # Хидденс не подходит для обучения

Я в эпической дискуссии с коллегой, который утверждает, что сокращение числа хидденов - лучший способ справиться с тренировками.MLP: Когда уменьшено # Хидденс не подходит для обучения

Хотя можно продемонстрировать, что ошибка обобщения уменьшается с обучением такой сети, в конечном итоге она не достигнет уровня, который может достичь более высокий уровень и ранняя остановка.

Я считаю, что наш проект имеет много типов плохой «кондиционирования», из которых нестационарность - это всего лишь одно. Я считаю, что для решения этих проблем требуется большое количество хидденов, которые можно сравнить с классами входных данных.

Хотя это кажется мне интуитивным, я не могу сделать убедительный аргумент.

источник

2015-07-09 user5070630

«hiddens» = скрытых элементов или скрытых слоев? В любом случае, он ошибается, поскольку это определенно не «лучший способ справиться с перетренированностью» - для этого есть намного лучшие методы, чем настройка архитектуры. Фактически, он должен предоставить ссылку на его иск. Я не вижу тебя в бремени доказывания. – runDOSrun

Нейронные сети - это черный ящик. Вы оба ошибаетесь за то, что спорили об этом за какое-то значимое время, а не просто проверяли его с помощью перекрестной проверки. – IVlad

Я бегу Ward Systems NeuroShell 2, который не имеет таких украшений, как «Регуляризация». Кроме того, Кросс-валидация отвергается моим коллегой, потому что он утверждает, что лучшее решение существует после огромного количества тренировок и что решение для остановки CV является в основном наивным решением. Поэтому нет способа опровергнуть это. Итак, я снова пытаюсь пролить интуитивный свет на мой оригинальный вопрос - нарисуйте мне фотографию ... – user5070630

Одним из основных аргументов является то, что этот метод должен иметь сильное теоретическое обоснование и полезная импликация. В частности, в то время как число скрытых блоков может быть использовать, чтобы уменьшить переобучения его основные недостатки:

жесткий теоретический анализ - вы не можете сказать, что разница делает добавление еще двух нейронов, в то время как вы можете точно сказать, какие изменения при изменении силы упорядочению
конечного множество возможных состояний - вы можете иметь только целых значения скрытых элементов, что приводит к конечному семейству моделей, которые вы рассматриваете; при использовании регуляризации (даже простой рег L2) дает континуум возможных моделей за счет использования параметра реального регуляризации

источник

2015-07-09 19:51:58 lejlot

MLP: Когда уменьшено # Хидденс не подходит для обучения

ответ

Смежные вопросы