Если я не предоставляю градиент для op в тензорном потоке, как работает градиентный спуск?

Question

При добавлении нового оп, документация (https://www.tensorflow.org/versions/r0.10/how_tos/adding_an_op/index.html) говорит:

Необязательно, написать функцию для вычисления градиентов для Op.

Поскольку это необязательно, если я его не пишу, как градиентный спуск вычисляет градиент? Использует ли он численный метод? Если да, то? И будет ли это медленнее?

Answer 1

Зависит от операции. Если операция состоит из других примитивов, то Gradient Descent может производить функцию автоматического дифференцирования.

Если ваша операция представляет собой новый примитив , то вы должны предоставить функцию градиента или спуск градиента, который не будет работать.

Градиентные реализации в Tensorflow являются точными функциями. Численный метод реализуется только для проверки реализации функций градиентных функций.