Может ли нейронная сеть со случайными соединениями работать правильно?

Question

Предположим, что у нас есть нейронная сеть с n слоями, где соединения не просто переходят от уровня i к слою i + 1, но могут перейти от любого уровня i к любому слою k, такого, что k> i. Например; соединения со слоем 1 непосредственно на уровень 3 или слой 2 непосредственно на слой n и т. д.

Учитывая произвольную функцию обучения и некоторую выбранную функцию активации для каждого уровня, будет ли такая нейронная сеть работать правильно?

Answer 1

Я думаю, что короткий ответ - да, но, как часто с нейронными сетями, это зависит от вашей проблемы.

Тип архитектуры, которую вы описываете в своем вопросе, называется моделью «skip-layer». Для краткого обсуждения соединений пропуском слоя, вы можете проверить эти интернет-ресурсы:

https://stats.stackexchange.com/questions/56950/neural-network-with-skip-layer-connections

http://www.iro.umontreal.ca/~bengioy/ift6266/H12/html.old/mlp_en.html

https://www.google.com/search?q=skip+layer+neural+network

Резюме: пропускать соединения слоев могут работать, но, насколько хорошо они работа сильно зависит от вашей проблемы и от того, как построена и оптимизирована остальная модель вашей сети.

Answer 2

Для любого (любого) NN то, что вы получаете, представляет собой комбинацию связанных функций активации.

Пока вес всех соединений дает вам хороший результат классификации, не имеет значения, пропустите ли вы некоторые слои.

И математически вы все равно можете использовать правило цепи для выполнения обратного распространения, я полагаю, что он менее чист по сравнению с обратным распространением слоя за слоем.

Единственная проблема, которую я вижу, - пропустить слишком много слоев, чтобы ваша модель не была достаточно сложной, чтобы уловить взаимосвязь между входом и выходом, что обычно не является проблемой для NN.