Насколько полный сверточный слой может работать для задачи сегментации?

Question

Я читаю статью «Полностью сверточные сети для семантической сегментации Джонатана Лонга», Эвана Шелхамера * и Тревора Даррелла. CVPR 2015 и PAMI 2016 « Я хочу понять, почему он может работать для семантической сегментации. Давайте рассмотрим архитектуру fcn-32s, она включает в себя две фазы: извлечение функции (conv1-1-> pool5) и классификация функций (fc6-> score_fr). Сравнение с обычной классификационной сетью, основное отличие - вторая фаза. FCN-32 заменяет полностью связанный слой полностью сверлильными слоями (1 x 1) в fc7, чтобы сохранить пространственную карту (как подпись на рисунке 2 на бумаге). Таким образом, я был смущен кое-что об этом месте:

1. Если мы заменим полностью связный слой, полностью свертке слоя, как он может узнать вес как традиционной классификации архитектуры?
2. Почему мы можем сохранить пространственную карту (тепловую карту), используя полностью сверточный слой?

Благодарим вас заранее.

Update: Это цифра, чтобы показать, как конвертировать из полностью подключенных к полностью сверточных слоев

Answer 1

Если вы посмотрите на математику, "Convolution" слой и "InnerProduct" (так называемый «полностью подключен») слой, в основном очень похожи: они выполняют линейную операцию на своих соответствующих восприимчивых полях. Единственное отличие состоит в том, что "InnerProduct" берет весь ввод как свое «восприимчивое поле», а слой "Convolution" только смотрит на окно kernel_size на вход.

Что произойдет, если размер ввода изменится?
"Convolution" слой не может заботиться, он просто выводит карту функций с пространственными размерами, соответствующими новой форме ввода.
С другой стороны, слой "InnerProduct" терпит неудачу, так как количество весов, которое оно имеет, не соответствует новому размеру восприимчивого поля.

Замена верхних полностью подключенных слоев в модели с помощью слоев "Convolution" позволяет классифицировать изображение «скользящего окна»: таким образом, достижение грубой семантической сегментации - маркировка на пиксель, а не метка на изображение.

По-прежнему существует большая проблема разрыва шкалы между шкалой ввода и грубой шкалой выходных меток, но есть слои "Deconvolution", чтобы преодолеть этот промежуток.