Размеры этой нейронной сети i.e (4 входа, 2 скрытых слоя с X нейронами каждый и т. Д.)

Question

Я искал примеры тензорного потока Aymeric Damien (https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/multilayer_perceptron.py), а в multilayer_perceptron.py он использовал нейронную сеть для классификации цифр MNIST. Я думаю, что он использует нейронную сеть с 784 входами, с двумя скрытыми слоями с 256 нейронами каждый и 10 выходами. Я прав? Как размеры матрицы в weights и biases в multilayer_perceptron.py соответствуют ИНСУ «измерения» (#inputs, #hidden слоев, #output, #neurons в каждом скрытом слое и т.д. спасибо!

Answer 1

Этих представляет собой трехслойную нейронную сеть (2 скрытых слоя и выходной уровень).

Соединение между входами первого скрытого слоя имеет 784 x 256 весов с 256 смещениями. Эта конфигурация обусловлена ​​тем, что каждая из входы 784 полностью подключены к 256 узлам скрытого уровня, и каждый узел скрытого слоя имеет 1 смещение.

Соединение между этим первым скрытым слоем со вторым скрытым слоем имеет 256 x 256 весов из-за полной связи между слоями. Каждый из 256 узлов второго уровня имеет 1 смещение.

Соединение между вторым скрытым слоем и выходным слоем аналогично. Весы 256 x 10 (для 256 узлов второго скрытого слоя и 10 узлов выходного уровня), и каждый выходной узел имеет 1 смещение.

Таким образом, 785 * 256 + 256 * 256 + 256 * 10 = 269 056 весов и 256 + 256 + 10 = 522 предубеждений.

На рисунке ниже следует полностью объяснить это.