Logisitic Regression Cost Function

Question

function [J, grad] = costFunction(theta, X, y) 
m = length(y); 
h = sigmoid(X*theta); 
sh = sigmoid(h); 
grad = (1/m)*X'*(sh - y); 
J = (1/m)*sum(-y.*log(sh) - (1 - y).*log(1 - sh)); 

end 

Я пытаюсь вычислить функцию стоимости для логистической регрессии. Может кто-нибудь, пожалуйста, скажите мне, почему это не точно?

Update: сигмовидной функция

function g = sigmoid(z) 

g = zeros(size(z)); 
g = 1./(1 + exp(1).^(-z)); 

end 

Answer 1

Как заявил Дэн, ваш costFunction называет сигмовидной дважды. Во-первых, он выполняет функцию сигмоида на X*theta; то он снова выполняет сигмоидную функцию по результату sigmoid(X*theta). Таким образом, sh = sigmoid(sigmoid(X*theta)). Функция стоимости должна только один раз вызвать функцию сигмоида.

См. Приведенный ниже код, я удалил переменную sh и заменил ее на h везде. Это приводит к тому, что сигмоидальная функция вызывается только один раз.

function [J, grad] = costFunction(theta, X, y) 
m = length(y); 
h = sigmoid(X*theta); 
grad = (1/m)*X'*(h - y); 
J = (1/m)*sum(-y.*log(h) - (1 - y).*log(1 - h)); 

end