Как создать пользовательскую целевую функцию в Keras?

Question

Есть много объективных функций в Keras here.

Но как вы можете создать свою собственную целевую функцию, я попытался создать очень простую целевую функцию, но он дает ошибку, и я нет никакого способа узнать размер самих параметры, переданные функции во время выполнения.

def loss(y_true,y_pred): 
    loss = T.vector('float64') 
    for i in range(1): 
     flag = True 
     for j in range(y_true.ndim): 
      if(y_true[i][j] == y_pred[i][j]): 
       flag = False 
     if(flag): 
      loss = loss + 1.0 
    loss /= y_true.shape[0] 
    print loss.type 
    print y_true.shape[0] 
    return loss 

Я получаю 2 ошибки, противоречивых,

model.compile(loss=loss, optimizer=ada) 
    File "/usr/local/lib/python2.7/dist-packages/Keras-0.0.1-py2.7.egg/keras/models.py", line 75, in compile 
    updates = self.optimizer.get_updates(self.params, self.regularizers, self.constraints, train_loss) 
    File "/usr/local/lib/python2.7/dist-packages/Keras-0.0.1-py2.7.egg/keras/optimizers.py", line 113, in get_updates 
    grads = self.get_gradients(cost, params, regularizers) 
    File "/usr/local/lib/python2.7/dist-packages/Keras-0.0.1-py2.7.egg/keras/optimizers.py", line 23, in get_gradients 
    grads = T.grad(cost, params) 
    File "/usr/local/lib/python2.7/dist-packages/theano/gradient.py", line 432, in grad 
    raise TypeError("cost must be a scalar.") 
TypeError: cost must be a scalar. 

Это говорит стоимость или потеря возвращается в функции должна быть скаляром, но если бы я изменить строку 2 из потери = T.vector (» float64 ')
к
потери = T.scalar (' float64')

он показывает эту ошибку

model.compile(loss=loss, optimizer=ada) 
    File "/usr/local/lib/python2.7/dist-packages/Keras-0.0.1-py2.7.egg/keras/models.py", line 75, in compile 
    updates = self.optimizer.get_updates(self.params, self.regularizers, self.constraints, train_loss) 
    File "/usr/local/lib/python2.7/dist-packages/Keras-0.0.1-py2.7.egg/keras/optimizers.py", line 113, in get_updates 
    grads = self.get_gradients(cost, params, regularizers) 
    File "/usr/local/lib/python2.7/dist-packages/Keras-0.0.1-py2.7.egg/keras/optimizers.py", line 23, in get_gradients 
    grads = T.grad(cost, params) 
    File "/usr/local/lib/python2.7/dist-packages/theano/gradient.py", line 529, in grad 
    handle_disconnected(elem) 
    File "/usr/local/lib/python2.7/dist-packages/theano/gradient.py", line 516, in handle_disconnected 
    raise DisconnectedInputError(message) 
theano.gradient.DisconnectedInputError: grad method was asked to compute the gradient with respect to a variable that is not part of the computational graph of the cost, or is used only by a non-differentiable operator: <TensorType(float64, matrix)> 

Answer 1

(Ответ Fixed) Простой способ сделать это звонит Keras бэкенд:

import keras.backend as K 

def custom_loss(y_true,y_pred): 
    return K.mean((y_true - y_pred)**2) 

Тогда:

model.compile(loss=custom_loss, optimizer=sgd,metrics = ['accuracy']) 

что составляет

model.compile(loss='mean_squared_error', optimizer=sgd,metrics = ['accuracy']) 

Answer 2

Вот мой небольшой фрагмент кода для записи новых функций потерь и их проверки перед использованием:

import numpy as np 

from keras import backend as K 

_EPSILON = K.epsilon() 

def _loss_tensor(y_true, y_pred): 
    y_pred = K.clip(y_pred, _EPSILON, 1.0-_EPSILON) 
    out = -(y_true * K.log(y_pred) + (1.0 - y_true) * K.log(1.0 - y_pred)) 
    return K.mean(out, axis=-1) 

def _loss_np(y_true, y_pred): 
    y_pred = np.clip(y_pred, _EPSILON, 1.0-_EPSILON) 
    out = -(y_true * np.log(y_pred) + (1.0 - y_true) * np.log(1.0 - y_pred)) 
    return np.mean(out, axis=-1) 

def check_loss(_shape): 
    if _shape == '2d': 
     shape = (6, 7) 
    elif _shape == '3d': 
     shape = (5, 6, 7) 
    elif _shape == '4d': 
     shape = (8, 5, 6, 7) 
    elif _shape == '5d': 
     shape = (9, 8, 5, 6, 7) 

    y_a = np.random.random(shape) 
    y_b = np.random.random(shape) 

    out1 = K.eval(_loss_tensor(K.variable(y_a), K.variable(y_b))) 
    out2 = _loss_np(y_a, y_b) 

    assert out1.shape == out2.shape 
    assert out1.shape == shape[:-1] 
    print np.linalg.norm(out1) 
    print np.linalg.norm(out2) 
    print np.linalg.norm(out1-out2) 


def test_loss(): 
    shape_list = ['2d', '3d', '4d', '5d'] 
    for _shape in shape_list: 
     check_loss(_shape) 
     print '======================' 

if __name__ == '__main__': 
    test_loss() 

Здесь, как вы можете видеть, я тестирую потерю binary_crossentropy и имею 2 отдельных значения потерь, одну версию nump (_loss_np), другую версию тензора (_loss_tensor) [Примечание: если вы просто используете функции keras, то это будет работать как с Theano, так и с Tensorflow ... но если вы зависите от одного из них, вы также можете ссылаться на них по K.theano.tensor.function или K.tf.function]

Позже я сравниваю выходные формы и Норма L2 выходов (которая должна быть почти равна) и норма L2 разницы (которая должна быть в направлении 0)

Как только вы убедитесь, что ваша функция потерь работает правильно, вы можно использовать как:

model.compile(loss=_loss_tensor, optimizer=sgd)