Одиночная сеть - несколько выходов или несколько сетей - один выход?

Question

При проектировании первичной нейронной сети с несколькими выходами существует концептуальная разница (отличная от вычислительной эффективности) между наличием единой сети с несколькими выходами и наличием нескольких сетей, каждая из которых имеет один выход?

Хотя выходные нейроны в одной и той же сети не влияют друг на друга «на лету», они влияют на тренировку, поскольку ошибка с каждого выхода обратная распространяется и влияет на весы скрытого слоя, что, в свою очередь, влияет на значение других выходов.

Есть ли проблемы, которые лучше решаются в любом случае? Интуитивно я бы сказал, что одна сеть лучше подходит для проблем, когда одновременно должен быть активен только один выход (например, OCR), где несколько сетей лучше подходят для проблем, когда несколько выходов могут быть активными одновременно (т. Е. Когда каждый выход соответствует некоторой характеристике на входе, где несколько из них могут присутствовать одновременно). Но это просто интуиция. Практически ли это?

Answer 1

Концептуальная разница, как вы отметили сами, - это совместная тренировка против отдельного обучения. Я думаю, что люди находят, что в большинстве случаев совместное обучение помогает, если проблемы связаны (например, если все выходы касаются распознавания символов). Поэтому я бы подумал, что в обеих проблемах вы упомянули о совместном обучении, независимо от того, могут ли одновременно работать несколько выходов.

Случай, когда совместное обучение не помогло и, вероятно, повредит, когда задачи не связаны вообще, например. если один выход имеет значение «character a», а другой - «звук x».