Я прочитал несколько статей о ограниченных машинах Больцмана. Эти машины были протестированы на предмет их возможностей по восстановлению. Я понимаю, как работает обучение, но не как эта реконструкция. Может ли кто-нибудь дать мне несколько намеков?Ограниченная машина Больцмана - реконструкция
Разговор Джефф Хинтон:
Я думаю, что вы имеете в виду ПБС, используемый в контексте автоассоциатор для вызова входов, а как ассоциативная сеть памяти.
На этапе обучения входные устройства и выходные узлы (узлы) зажимаются до значений, найденных в обучающем наборе, после чего повторяется повторный выбор Больцмана (например, посредством комбинации Metropolis Hastings и Simulated Annealing) в сочетании с градиентом спуск для оптимизации весов по всем соединениям между входными, скрытыми и выходными узлами. После обучения ограниченная сеть Больцмана может использоваться либо для: 1) классификации/прогнозирования или 2) генерации памяти в режиме свободного запуска.
В режиме классификации/прогнозирования некоторые или все входные блоки зажимаются, а скрытые и выходные узлы отбираются с помощью выборки Больцмана. Статистические свойства (по существу, средства) выходных узлов - это предсказания или классификации. Если RBM структурирован как односкатный автокодер, с входным слоем, который напоминает выходной уровень и разреженный или меньший скрытый уровень, то ограниченное количество входов, приводящее к полному восстановлению учебного ввода, будет «реконструкцией».
Наука бумага Хинтона 2006 обсуждает некоторые из этих идей:
http://www.cs.toronto.edu/~hinton/science.pdf
Эта статья представляет собой довольно конкретное применение RBMS и нейронных сетей, хотя. В этой статье он использует RBM, чтобы претерпеть глубокую (многослойную) нейронную сеть.
В Hinton's algorithm они используют RBM для pre-training, так что начальные веса близки к хорошему решению, обеспечивающему схождение градиентного спуска.
На следующем этапе начальная сеть (скажем, [1000 500 100 2]) составляет разворачивается, чтобы создать сеть с автоматическим кодировщиком ([1000 500 100 2 100 500 1000]). Кодировщик ([1000 500 100 2]) и декодер ([2 100 500 1000]) изначально используют одни и те же веса.
Последняя стадия: тонкая настройка. Он использует обратную передачу через весь автокодер ([1000 500 100 2 100 500 1000]) для точной настройки веса (путем минимизации ошибки, которая является разницей между входом и его реконструкцией) для оптимальной реконструкции. Выходной сигнал автокодера - это реконструкция входа.