градиентный спуск сценарий MATLAB

Question

Итак, я написал следующий код MATLAB в качестве упражнения для градиентный спуск. Я, очевидно, выбрал функцию, которая имеет минимум в (0,0), но алгоритм бросает меня на (-3,3).

я не узнал, что переключение между xGrad и yGrad на линии: [xGrad,yGrad] = gradient(f); дает правильную сходимость, несмотря на то, что xGrad, yGrad являются приблизительно 2*X, 2*Y, как ожидалось. Я предполагаю, что я перевернутое что-то здесь, но я пытался выяснить, что это какое-то время, и я не понимаю, так что я надеялся, что кто-то может заметить свою ошибку ...

dx=.01; 
dy=.01; 
x=-3:dx:3; 
y=-3:dy:3; 
[X,Y]=meshgrid(x,y); 

f=X.^2+Y.^2; 

lr = .1; %learning rate 
eps = 1e-10; %epsilon threshold 
tooMuch = 1e5; %limit iterations 
p = [.1 1]; %starting point 
[~, idx] = min(abs(x-p(1))); %index of closest value 
[~, idy] = min(abs(y-p(2))); %index of closest value 
p = [x(idx) y(idy)]; %closest point to start 
[xGrad,yGrad] = gradient(f); %partial derivatives of f 
xGrad = xGrad/dx; %scale correction 
yGrad = yGrad/dy; %scale correction 

for i=1:tooMuch %prevents too many iterations  
    fGrad = [ xGrad(idx,idy) , yGrad(idx,idy) ]; %gradient's definition 
    pTMP = p(end,:) - lr*fGrad; %gradient descent's core 
    [~, idx] = min(abs(x-pTMP(1))); %index of closest value 
    [~, idy] = min(abs(y-pTMP(2))); %index of closest value 
    p = [p;x(idx) y(idy)]; %add the new point 
    if sqrt(sum((p(end,:)-p(end-1,:)).^2)) < eps %check conversion 
     break 
    end 
end 

Спасибо любому, кто помогает

изменить: исправлены опечатки и сделали код более четким. Он по-прежнему делает то же самое и имеет ту же проблему

Answer 1

В конце концов я Жду» t выяснить, что было не так с предыдущим методом, но вот альтернативный сценарий для градиента приличный, который я использовал для s AME вопрос:

syms x y 
f = -20*(x/2-x^2-y^5)*exp(-x^2-y^2); %cost function 
% f = x^2+y^2; %simple test function 

g = gradient(f, [x, y]); 
lr = .01; %learning rate 
eps = 1e-10; %convergence threshold 
tooMuch = 1e3; %iterations' limit 
p = [1.5 -1]; %starting point 
for i=1:tooMuch %prevents too many iterations 
    pGrad = [subs(g(1),[x y],p(end,:)) subs(g(2),[x y],p(end,:))]; %computes gradient 
    pTMP = p(end,:) - lr*pGrad; %gradient descent's core 
    p = [p;double(pTMP)]; %adds the new point 
    if sum((p(end,:)-p(end-1,:)).^2) < eps %checks convergence 
     break 
    end 
end 
v = -3:.1:3; %desired axes 
[X, Y] = meshgrid(v,v); 
contour(v,v,subs(f,[x y],{X,Y})) %draws the contour lines 
hold on 
quiver(v,v,subs(g(1), [x y], {X,Y}),subs(g(2), [x y], {X,Y})) %draws the gradient directions 
plot(p(:,1),p(:,2)) %draws the route 
hold off 
suptitle(['gradient descent route from ',mat2str(round(p(1,:),3)),' with \eta=',num2str(lr)]) 
if i<tooMuch 
    title(['converged to ',mat2str(round(p(end,:),3)),' after ',mat2str(i),' steps']) 
else 
    title(['stopped at ',mat2str(round(p(end,:),3)),' without converging']) 
end 

лишь некоторые из результатов

В последнем случае вы можете видеть, что это не сходится, но это не проблема с градиентом спуск, только слишком высокая скорость обучения (поэтому он несколько раз пропускает минимальную точку).

приветствуется использовать его.

Answer 2

X-матрица, возвращаемая meshgrid, имеет возрастающие значения X в столбцах, а не в строках! Например [X, Y] = meshgrid(-1:1, 1:3) возвращает

 [-1 0 1;   [1 1 1; 
X = -1 0 1;  Y = 2 2 2; 
    = -1 0 1];   3 3 3]; 

Обратите внимание, как х-индекс должен быть помещен в колонку X или Y, а Y-индекс должен быть помещен в ряд. В частности, ваша линия:

fGrad = [ xGrad(idx,idy) , yGrad(idx,idy) ]; %gradient's definition 

вместо этого следует:

fGrad = [ xGrad(idy,idx) , yGrad(idy,idx) ]; %gradient's definition 

Переменной idy должны индексировать ряд и idx переменных должна индексировать колонок