Как изменить скорость обучения определенного слоя из прототипа решателя (CAFFE)

Question

Кто-нибудь знает, как изменить скорость обучения lr_mult определенного уровня в CAFFE из прототипа решателя? Я знаю, что есть base_lr, однако я бы хотел настроить таргетинг на определенный уровень и делать это из решателя вместо сетевого прототипа.

Спасибо!

Answer 1

Каждый слой, требующий обучения (например, созвучный, полностью подключенный и т. Д.), Имеет определенный параметр lr_mult, который может управляться специально для этого уровня. lr_mult - это «множитель глобальной скорости обучения для этого параметра».

Просто укажите или измените lr_mult для вашего слоя в train_val.prototxt.

Это полезно для точной настройки, где вы можете увеличить скорость обучения только для нового слоя.

Для получения дополнительной информации посетите кафе fine-tuning учебник. (Примечание: это немного устаревшей и устаревшим термином blobs_lr используется там вместо lr_mult)

EDIT: Насколько я знаю, что не представляется возможным определить скорость обучения слоя конкретного из solver.prototxt. Следовательно, если ограничение solver.prototxt не является строгим, я предлагаю другой метод для достижения того же результата.