Может ли кто-нибудь сказать мне «обычно», сколько слоев имеет глубокая нейронная сеть? Насколько глубоко достаточно глубоко?Сколько скрытых слоев существует в глубокой нейронной сети
Насколько мне известно, до сих пор сложно сказать конкретное количество скрытых слоев. Но может ли кто-нибудь сказать мне, как некоторые примеры, сколько скрытых слоев будут исследователи, разработчики используют в своих проектах глубокого обучения?
Большое спасибо.
Это полностью зависит от проблемы, которую вы пытаетесь сделать моделью. Чем больше у вас слоев, тем сложнее тренировать сеть (требуется больше вычислительной мощности). Тем не менее, чем глубже слой, тем более сложные проблемы он может решить.
Джеффри Хинтон писал в своем tutorial:
Сколько строк кода следует использование программы AI и как долго должны быть каждая строка? - Это, очевидно, глупый вопрос.
• Глубокие сети убеждений дают создателю большую свободу.
- Как лучше всего использовать это свобода зависит от задачи.
- С достаточно узких слоями мы можем моделировать любое распределение по бинарным векторам (Sutskever & Hinton, 2007)
• Если свобода пугает вас, придерживаться выпуклой оптимизации моделей мелкой , которые явно недостаточны для выполнения искусственного Intelligence.
Из того, что я знаю, количество слоев обычно не очень велико. Here (ImageNet Large Scale Visual Recognition Challenge 2014), например. Команда google использовала сеть с 22 слоями.
22 слоя - это ** огромный ** номер, учитывающий исчезающие градиенты и то, что люди делали до того, как CNN стали популярными. Поэтому я бы не назвал это «не очень большим». Но опять же, это CNN, и есть Deep Nets, которые не смогут обрабатывать многие слои. – runDOSrun
@runDOSrun Я согласен, однако, если вы не знаете, что действительно происходит за кулисами, 22 слоя могут показаться подозрительно маленьким числом. BTW, исчезающая проблема градиента применяется только к методам градиента. Если вы используете алгоритмы PSO или GA для обучения, это не происходит. Однако эти методы намного медленнее. – gisek
Я знаю это, но я не уверен, что OP это делает. Поэтому предоставление любого числа, вероятно, не полезно для него, поскольку его формулировка не дает мне знать, знает ли он о различиях в архитектуре и обучении вообще. – runDOSrun
Это невозможно ответить должным образом, поскольку нет конкретной «глубокой нейронной сети», а представляет собой набор архитектур, которые следуют глубоководной парадигме. Все они совершенно разные по своей глубине. Если вы действительно заинтересованы, вам нужно будет выбрать один и прочитать ученому Google, что говорят последние газеты. – runDOSrun