Градиентный спуск не обновляется тета значений

Question

Использования векторизованных версий градиента, как описана в: gradient descent seems to fail

theta = theta - (alpha/m * (X * theta-y)' * X)'; 

Значение теты не обновляется, так что все, что начальное значением теты это значение, которые установлены после того, как работаю градиентный спуск:

example1:

m = 1 
X = [1] 
y = [0] 
theta = 2 
theta = theta - (alpha/m .* (X .* theta-y)' * X)' 

theta = 

    2.0000 

example2:

m = 1 
X = [1;1;1] 
y = [1;0;1] 
theta = [1;2;3] 
theta = theta - (alpha/m .* (X .* theta-y)' * X)' 

theta = 

    1.0000 
    2.0000 
    3.0000 

theta = theta - (alpha/m * (X * theta-y)' * X)'; Правильная векторная реализация градиентного спуска?

Answer 1

theta = theta - (alpha/m * (X * theta-y)' * X)'; действительно правильная векторная реализация градиентного спуска.

Вы полностью забыли установить скорость обучения, alpha.

После установки alpha = 0.01, ваш код становится:

m = 1    # number of training examples 
X = [1;1;1] 
y = [1;0;1] 
theta = [1;2;3] 
alpha = 0.01 
theta = theta - (alpha/m .* (X .* theta-y)' * X)' 
theta = 

    0.96000 
    1.96000 
    2.96000