Почему предварительная подготовка для сверточных нейронных сетей

Question

Обычно обратное распространение NN имеет проблему исчезновения градиентов. Я обнаружил, что Свернующий NN (CNN) каким-то образом избавляется от этих исчезающих проблем градиента (почему?).

Также в некоторых документах для CNN обсуждались некоторые подходы к предварительной обработке. Может ли кто-нибудь объяснить мне следующее?

(1) the resons for pretraining in CNN and 
    (2) what are the problems/limitations with CNN? 
    (3) any relavent papers talking about the limitation of CNN? 

Заранее спасибо.

Answer 1

1. Pretraining - это методика регуляризации. Это улучшает точность обобщения вашей модели. Поскольку сеть подвергается большому количеству данных (у нас есть огромное количество неконтролируемых данных во многих таках), весовые параметры переносятся в пространство, которое с большей вероятностью будет представлять распределение данных в целом, а не переназначение определенного подмножества базовых данных распределение. Нейронные сети, особенно те, которые обладают высокой способностью представления модели с количеством скрытых единиц, имеют тенденцию перегружать ваши данные и уязвимы для случайных инициализаций параметров. Кроме того, поскольку начальные уровни правильно инициализируются контролируемым способом, проблема разбавления градиента уже не такая уж серьезная. Вот почему предварительная предварительная обработка используется в качестве начального шага к контролируемой задаче, которая обычно выполняется с алгоритмом градиентного спуска.

2. CNN разделяют ту же участь с другими нейронными сетями. Слишком много параметров для настройки; оптимальный размер исправления ввода, количество скрытых слоев, количество карт функций на каждый слой, размеры пула и шага, окна нормализации, скорость обучения и другие. Таким образом, проблема выбора модели относительно сложнее по сравнению с другими методами ML. Обучение крупных сетей осуществляется либо на графических процессорах, либо в кластере процессоров.