Примеры для учеников CNTK

Question

Я проходил обучение Microsft Python CNTK для версии 2 Beta 9.0. Я не нашел хорошую документацию с примерами рекомендуемых значений, которые можно передать другим учащимся. Я был в состоянии получить следующие учащиеся, работающие на CNTK 103: Часть B - Feed Forward сеть с MNIST toturial:

lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, sgd(z.parameters, lr=lr_per_minibatch)) 

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, adagrad(z.parameters, lr=lr_per_minibatch)) 

    lr_per_minibatch=learning_rate_schedule(0.05, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, adam_sgd(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700))) 

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, nesterov(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700))) 

    lr_per_minibatch=learning_rate_schedule(0.1, UnitType.minibatch) 
    trainer = Trainer(z, ce, pe, rmsprop(z.parameters, lr=lr_per_minibatch, gamma=0.90, inc=0.03, dec=0.03, max=0.1, min=0.1)) 

Эти работы, но кто-нибудь есть хорошие примеры рекомендуемых значений параметров, каждый тренер получает?

Answer 1

Для текущих учащихся лучшие параметры зависят от данных и проблемы, которую вы решаете. Поэтому очень трудно дать хорошие рекомендации. Один из типичных советов заключается в том, что если скорость обучения будет работать, тогда все меньшие скорости обучения будут работать, но вам придется работать дольше (т. Е. Делать больше разверток по данным).