Как передать аргумент функции выигрыша в scikit-Learn в LogisticRegressionCV вызов

Question

Проблема

Я пытаюсь использовать scikit учиться «s LogisticRegressionCV с roc_auc_score как скоринг метрики.

from sklearn.linear_model import LogisticRegression 
from sklearn.metrics import roc_auc_score 

clf = LogisticRegressionCV(scoring=roc_auc_score) 

Но когда я пытаюсь соответствовать модели (clf.fit(X, y)), он выдает сообщение об ошибке.

ValueError: average has to be one of (None, 'micro', 'macro', 'weighted', 'samples') 

Это круто. Понятно, что происходит: roc_auc_score необходимо вызвать с аргументом average, указанным за its documentation и ошибкой выше. Поэтому я попробовал это.

clf = LogisticRegressionCV(scoring=roc_auc_score(average='weighted')) 

Но оказывается, что roc_auc_score нельзя назвать одним только дополнительным аргументом, потому что это бросает другую ошибку.

TypeError: roc_auc_score() takes at least 2 arguments (1 given) 

Вопрос

Любых мысли о том, как я могу использовать roc_auc_score в качестве разметочных метрик для LogisticRegressionCV таким образом, что я могу указать аргумент для функции выигрыша?

Я не могу найти ВОПРОС по этому вопросу или обсуждение этой проблемы в scikit-learn GitHub repo, но наверняка кто-то сталкивался с этим раньше?

Answer 1

Я нашел способ решить эту проблему!

scikit учиться предлагает make_scorer функцию в своем metrics модуля, который позволяет пользователю создавать объект скоринга от одного из своих родных функций озвучивания с аргументами, указанных значениями не по умолчанию (см here для получения дополнительной информации о эта функция от scikit-learn docs).

Итак, я создал объект оценки с указанным аргументом average.

roc_auc_weighted = sk.metrics.make_scorer(sk.metrics.roc_auc_score, average='weighted') 

Затем я передал этот объект в вызове LogisticRegressionCV и побежал без каких-либо проблем!

clf = LogisticRegressionCV(scoring=roc_auc_weighted) 

Answer 2

Вы можете использовать make_scorer, например.

from sklearn.linear_model import LogisticRegressionCV 
from sklearn.metrics import roc_auc_score, make_scorer 
from sklearn.datasets import make_classification 

# some example data 
X, y = make_classification() 

# little hack to filter out Proba(y==1) 
def roc_auc_score_proba(y_true, proba): 
    return roc_auc_score(y_true, proba[:, 1]) 

# define your scorer 
auc = make_scorer(roc_auc_score_proba, needs_proba=True) 

# define your classifier 
clf = LogisticRegressionCV(scoring=auc) 

# train 
clf.fit(X, y) 

# have look at the scores 
print clf.scores_