Тестирование реализации обратного распространения ANN

Question

При сборке искусственной нейронной сети с обратным просветом алгоритм является сложным и нет стабильной контрольной точки для тестирования.

Каков наилучший подход к отладочной корректности реализованного алгоритма?

Я не говорю о фазах прохождения/валидации/испытания, мне бы хотелось, чтобы какой-то показатель или, пожалуй, пошаговые результаты обучения/значения веса, чтобы проверить внутреннюю работу сети, для данные конфигурации и учебные данные.

Answer 1

То, что я думаю, что может помочь это:

1. Использования модулей с автоматической рамкой Дифференцирования (как Theano или Tensor Flow) и определение сети с такой же конфигурацией, как ваш - и проверка результатов, используя свои внутренние рамки дифференцирования.
2. Использование вычислений numerical gradient.
3. Вычисление соответствующих градиентов по отдельности и сравнение результатов.