Sklearn SGDClassifier minibatch-learning and learning rate schedule

Question

Я пытаюсь собрать вместе, как SGDClassifier выбирает скорость обучения, когда я использую метод partial_fit для его обучения.

есть, мой основной цикл обучения выглядит следующим образом:

from sklearn.linear_model import SGDClassifier 
m = SGDClassifier(n_iter=1, alpha=0.01) 
n_iter = 40 
t0 = time.time() 
for i in range(n_iter): 
    for fname in files: 
     X, y = load_next_batch(fname) 
     m.partial_fit(X, y, classes = [0, 1]) 
    print "%d: valid-error: %f (time: %fs)" % (i, 1.0-m.score(Xvalid, yvalid), time.time() - t0) 

сейчас, так как я делаю 40 проходит через весь набор обучения, я хотел бы, чтобы отжечь мою скорость обучения в течение долгого времени. Если бы я использовал fit вместо частичной подгонки, я понимаю, что это произойдет автоматически (если не изменить параметр learning_rate).

Однако мне непонятно, как это происходит при использовании частичной подгонки. Сбой кода тоже не помог. Может ли кто-нибудь уточнить, как я мог достичь отожженной скорости обучения в моей настройке?

Answer 1

fit использует partial_fit внутренне, поэтому learning rate configuration parameters применяется как для fit a partial_fit. График отжига по умолчанию - eta0/sqrt(t) с eta0 = 0.01.

Редактировать: это не так, как это видно в комментариях фактического расписания по умолчанию для SGDClassifier является:

1.0/(t + t0) где t0 установлен эвристический и t этого количества образцов видели в прошлом.