ReLu и Dropout в CNN

Question

Я изучаю сверточные нейронные сети. Я смущен некоторыми слоями в CNN.

Относительно ReLu ... Я просто знаю, что это сумма бесконечной логистической функции, но ReLu не подключается к каким-либо верхним уровням. Зачем нам нужен ReLu и как он работает?

Отказ от выпадения ... Как работает выпадение? Я слушал видео-разговор от Г. Хинтона. Он сказал, что есть стратегия, которая просто игнорирует половину узлов, случайным образом, при тренировке весов и уменьшает вес при прогнозировании. Он говорит, что он был вдохновлен случайными лесами и работает точно так же, как вычисление геометрического среднего этих случайно обученных моделей.

Является ли эта стратегия такой же, как отказ?

Может ли кто-нибудь помочь мне решить эту проблему?

Answer 1

РЕЛУ: Функция выпрямителя является функцией активации F (X) = Мах (0, х), которые могут быть использованы нейроны так же, как и любой другой функции активации, узел с помощью функции активации выпрямителя называемый узлом ReLu. Основная причина, по которой он используется, заключается в том, насколько эффективно он может быть вычислен по сравнению с более обычными функциями активации, такими как сигмоидный и гиперболический тангенс, без существенной разницы в точности обобщения. Функция активации выпрямителя используется вместо функции линейной активации, чтобы добавить нелинейность в сеть, иначе сеть могла бы только вычислить линейную функцию.

Отказ: Да, описанная техника аналогична выпадению. Причина, по которой случайное игнорирование узлов является полезной, заключается в том, что она препятствует появлению межзависимых связей между узлами (I.e. узлы не изучают функции, которые полагаются на входные значения с другого узла), что позволяет сети узнать более надежные отношения. Внедрение исключений имеет тот же эффект, что и среднее из комитета сетей, однако стоимость значительно меньше и времени, и времени хранения.