1
Как я понимаю, при использовании softmax значений K в видимых единицах RBM скрытый блок остается двоичным.Если я использую softmax в RBM, мне нужно использовать его в скрытых единицах, а также в видимых?
Если это так - я не уверен, как вычислять вклады двоичных единиц в видимые. Должен ли я связывать двоичное состояние 0 в скрытом блоке с конкретным состоянием из состояний K softmax, а состояние 1 - другим состояниям K-1? Или, может быть, 0 в скрытом блоке коррелирует с 0 во всех K возможных состояниях видимой единицы (но разве это не противоречит тому, что должно быть включено хотя бы одно из K-состояний?).
Можете ли вы предоставить мне учебник о том, что является слоем softmax и как его использовать в RBM? Я понял, как RBM может обучаться с бинарными видимыми и скрытыми единицами, но не имеет понятия о том, как использовать для не двоичных чисел. Поэтому, пожалуйста, укажите мне некоторые учебные пособия, в которых рассказывается о softmax в этом контексте. – StrikeR
http://www.cs.toronto.edu/~hinton/absps/guideTR.pdf глава 13 – Uri
@Uri Привет, что происходит с термином смещения, связанным с таким модулем softmax? Скажем, у меня есть переменная, которая может принимать 10 возможных значений, поэтому будет только один смещающий термин для этого или 10 различных значений смещения для 10 состояний. – bytestorm