Я работаю над реализацией Хинтонской дистилляции знаний paper. Первым шагом является сохранение мягких целей «громоздкой модели» с более высокой температурой (т. Е. Мне не нужно обучать сеть, просто нужно сделать пересылку вперед на изображение и сохранить мягкие мишени с температурой T
).
Есть ли способ получить выходные данные сокетов Alexnet или googletet, но с другой температурой?
Мне нужно изменить soft-max с помощью pi= exp(zi/T)/sum(exp(zi/T)
.
Необходимо разделить выходы окончательного полностью подключенного слоя с температурой T
. Мне это нужно только для форварда (не для обучения).Caffe: Softmax с температурой
ответ
Я считаю, что есть три варианта решения этой проблемы
1. реализовать свой собственный Softmax
слой с температурным параметром. Должно быть достаточно прямо изменить код softmax_layer.cpp
, чтобы принять во внимание «температуру» T
. Возможно, вам потребуется настроить файл caffe.proto
, чтобы разрешить разбор Softmax
с дополнительным параметром.
2. Внедрите слой как python layer.
3. Если вам нужен только вперед проход, т.е. «выделение признаков», то вы можете просто выход, как показывает «верх» слой перед тем в SoftMax слой и сделать SoftMax с температурой наружного CAFFE в целом.
4. Вы можете добавить Scale
слой до верхнего слоя Softmax
:
layer {
type: "Scale"
name: "temperature"
bottom: "zi"
top: "zi/T"
scale_param {
filler: { type: 'constant' value: 1/T } # replace "1/T" with the actual value of 1/T.
}
param { lr_mult: 0 decay_mult: 0 } # make sure temperature is fixed
}
layer {
type: "Softmax"
name: "prob"
bottom: "zi/T"
top: "pi"
}
Спасибо. Я думаю, что попробую первый вариант. –
- 1. tensorflow - softmax игнорировать отрицательные метки (как и caffe)
- 2. В чем разница между слоем Softmax и SoftmaxWithLoss в caffe?
- 3. Выбор действия с softmax?
- 4. Как восстановить сеть caffe с помощью pycaffe
- 5. Как изменить температуру выхода softmax в Keras
- 6. WiX каталоги урожая с высокой температурой
- 7. 3 Оценка соответствия с температурой SAS
- 8. ImportError: Нет модуля с температурой от терминала
- 9. нейронная сеть с активацией SoftMax
- 10. Расчет градиента для версии с потерей триплета для softmax
- 11. В чем разница между регулярным softmax и выборочным softmax?
- 12. Функция потерь для ординарной цели на SoftMax над логистической регрессией
- 13. TensorFlow - softmax на заполнителе
- 14. Производные функции функции softmax
- 15. masked softmax in theano
- 16. в tensorflow MNIST SoftMax учебника, функция SoftMax не используется
- 17. Понимание классификатора softmax
- 18. Векторизованная реализация регрессии Softmax
- 19. Массив с высокой и низкой температурой с использованием конструкций итераций
- 20. Регрессия с использованием Caffe
- 21. ошибка caffe с glog
- 22. caffe inner_prodcut_param с осью
- 23. Проблемы с установкой Caffe
- 24. Многоклеточная классификация с Caffe
- 25. здание caffe с MKL
- 26. Как сделать softmax работать с градиентом политики?
- 27. Datatypes несоответствие при вычислении энтропии с softmax
- 28. Регрессия Softmax (многокомпонентная логистика) с PyMC3
- 29. Нейронная сеть с выходом softmax не сходится
- 30. Softmax выбор вероятность с категоричным в PyMC3
Опубликовано ссылка на бумагу Хинтона @Shai –