Да, это имеет смысл, но это, возможно, не первое, что вы хотите попробовать: Если вы уже извлекли возможности, созданные вручную, подходящие для вашего домена, есть хорошие шансы, которые вы получите удовлетворительные результаты, используя простой в использовании инструмент машинного обучения (например, libsvm).
Caffe может использоваться различными способами с помощью ваших функций. Если они являются низкоуровневыми функциями (например, гистограммой градиентов), то несколько сверточных слоев могут извлекать соответствующие функции среднего уровня для вашей проблемы. Вы также можете использовать caffe в качестве альтернативного нелинейного классификатора (вместо SVM). У вас есть свобода попробовать (слишком) много вещей, но мой совет - сначала попробовать метод машинного обучения с меньшим пространством метапараметров, особенно если вы новичок в нейронных сетях и кафе.
[Этот ответ] (http://stackoverflow.com/a/28411646/1714410) также применим здесь;) – Shai