Линейная регрессия с правилом обновления Stochastic Gradient Descent (SGD)

Question

Я понимаю, что в SGD мы обновляем весы w.r.t. на один пример обучения, такие как:

for i in range(m): 
    weights = weights + (alpha * gradient) # for each i in m 

ли мы затем вычислить новую среднеквадратическую ошибку (моя стоимость функции) на основе этого одного обновления или после целой пробегают обучающий набор?

Answer 1

Основано на одном обновлении. Градиент оценивается с использованием одного примера обучения, а затем используется для обновления ваших весов. После обновления вы можете затем вычислить новую функцию потерь, чтобы увидеть, как работает ваша оптимизация.