Назадпродажа: обновление первого весового слоя

Question

По примечаниям Эндрю Нг по обратному распространению (page 9) значения дельта вычисляются только для скрытых слоев (от n-1 до 2). Затем эти дельта накапливаются и используются для обновления весовых матриц.

Однако в примечаниях не упоминается, как обновить весовую матрицу для слоя один.

1. В общем, матрица для первого слоя никогда не обновляется с обратным распространением?
2. Является ли матрица для первого слоя когда-либо обновленной?

Answer 1

Веса в конечном слое обновляются таким же образом, что последующие слои веса обновляются:

#Excerpt from my code at github 
dW_matrix = -learning_rate * np.dot(delta, input_signals).T 
weight_matrix += dW_matrix 

Где delta это дельта рассчитывается в указанном выше слое.

Дельта будет рассчитана для слоев: [1, ->]. Нет необходимости вычислять дельту слоя 0, потому что нет дополнительных слоев для распространения дельта вниз. Веса всегда обновляются (используя дельту из слоя выше).