Сумка визуальной модели слов для кластеризации объектов

Question

Я использую пакет визуальных слов, чтобы скопировать функции изображения. До сих пор вся работа, с которой я столкнулась, использовала BOW для кластеризации, рассчитанную с использованием SIFT, SURF и т. Д. Возможно, я пропустил это, но можно ли представить функцию Color Histogram Feature в BOW, а также функцию гистограммы с граничной ориентацией в BOW.

Я работаю над классификатором изображений, и я хочу использовать SIFT с цветовой гистограммой RGB в качестве дескрипторов функций в Opencv. Поэтому мне было интересно, правильно ли конкатенировать два вектора признаков в один и добавить к BOW или правильно добавить функцию SIFT для BOW и объединить функцию гистограммы с BOW (я использую эту модель на данный момент, но мне интересно, один из них правильный.)

Answer 1

Исторически мы используем модель слов для извлечения документов. Как упоминалось в этом post, в компьютерном представлении сумка-визуальные слова относятся к сумкам-чертам (BOF). Если вы хотите использовать два типа функций, вы можете объединить два вектора признаков и построить модель BOF. (В качестве примера). Для задачи распознавания человеческого действия люди часто моделируют человеческое действие с использованием BOF, построенного на конкатенации функции внешнего вида (Gradient - HOG) и функции движения (Optical Flow - HOF).