Поиск на основе контента?

Question

Ну, я искал googled около Поиск на основе контента (CBIR) и на самом деле определение вики совершенно ясно, но материалов и книг, связанных с предметом, мало. Может ли кто-нибудь объяснить, какие компоненты составляют Поиск на основе контента и любые ресурсы?

Answer 1

Задача поиска изображений на основе контента (CBIR) может быть описана так: «с учетом изображения запроса найдите похожие изображения в базе данных».

Насколько я знаю, CBIR имеет три основных этапа (1) экстракция Характеристика: извлечения полезных функций для описания изображений (для обоих изображений в изображении базы данных и запросов) (2) Matching: вычислительными расстояния между экстрагированных функции запроса снова изображения базы данных и произвести ранжирование изображений базы данных относительно расстояния до запроса (3) Уточнение: уточнить матчи (переименовать их)

a) Большинство усилий до сих пор прилагается к первый этап, извлечение признаков:

• Традиционно, локальные особенности ручной работы (SIFT, SURF и т. д.).
• Недавно исследователи предложили использовать методы кодирования, такие как Bag-of-word, VLAD, вектор Fisher и т. Д. Для создания компактных дескрипторов из исходных локальных признаков. Преимущества в два раза: (i) компактные дескрипторы более надежны, чем исходные локальные функции; (ii) компактные дескрипторы имеют меньшие отпечатки ног, чем исходные функции, поэтому они более легко масштабируются и подходят для крупномасштабного поиска
• В последнее время с большим успехом глубокого обучения в компьютерном зрении люди переключаются на использование функций, Сверточные нейронные сети (коды CNN), чтобы заменить местные функции ручного ремесла. Коды CNN могут использоваться как есть или объединены с некоторыми упомянутыми выше способами кодирования. В общем, CNN коды имеют лучшие характеристики, чем ручная работу функции (подтверждено на некоторых стандартных тестах, такие как отпуск набор данные, Oxford5K, Oxford100K, Париж, UKB)

б) на втором этапе: некоторые простые показатели расстояния могут (эвклидовое расстояние, расстояние от косинуса и т. д.)

c) Последний шаг (перерасчет) может быть выполнен с использованием RANSAC или предварительного знания. (Я на самом деле ничего не знаю об этом шаге)

С некоторыми ключевыми словами из вышеперечисленных текстов вы можете найти полезные ресурсы через Google.

Answer 2

Поиск изображений на основе контента (CBIR) можно просто рассматривать как «заданные изображения запросов», получить список рангов, наиболее похожих на изображение запроса, на основе содержимого изображения запроса. Традиционные методы включают в себя словарное дерево Вы можете проверить эту библиотеку libvot.

Есть также новые методы, полученные благодаря недавнему успеху глубокого обучения. Методы глубокого обучения обычно не зависят от локальных особенностей, а от глобальных описаний изображений. еще одна огромная тема.