Какая сторона вверх? - Автоматический алгоритм вращения изображения

Question

Программное обеспечение, такое как Google Picasa, очень хорошо демонстрирует, что программное обеспечение может определить, каким образом была сделана фотография без Exif-Data, поскольку она недоступна в каждой камере.

Есть ли документированный алгоритм, который выводит, нужно ли поворачивать изображение или нет? Я хочу узнать вращение без использования EXIF ​​Data. Если это вообще возможно, я бы хотел сделать это с помощью ImageMagick.

Answer 1

Это сложная проблема и, соответственно, текущие исследования. Yann's answer в основном указывает на обычные подходы уже (+1) и mfrellum's hint по направлению Распознавание образов также применимо (+1) - для более глубокого анализа вы можете прочитать несколько следующих документов (субъективный отбор из прошлых исследований шахты):

[Обратите внимание: большинство ссылок в формате PDF, приведенных ниже, были выведены из Google Scholar - Google, естественно, хорошо находит подходящий PDF-документ в других местах для общедоступных тезисов докладов, где фактические контент чаще всего скрывается за paywalls.Законность этого является предметом жарких дискуссий, конечно, и поэтому экранирования регулярно публично финансируемыми научных исследований, как это в первую очередь - сделать свое собственное суждение]

• Один из старых и наиболее широко цитируемых работ являются! вероятно Automatic Image Orientation Detection (Hongjiang Zhang, Aditya Vailaya и Anil Jain - 1999).
  • Более подробное, но менее официальное обновление с 2002 года в настоящее время доступно в виде IEEE Proof PDF.
    
    

• Один из Hongjiang Чжан многие последующие документы в Content-Based Image Orientation Detection with Support Vector Machines (Yongmei Ван и Hongjiang Zhan - 2001)

• Другой (хотя и менее иллюстративное) один Boosting Image Orientation Detection with Indoor vs. Outdoor Classification (Lei Zhang, Mingjing Li, Hongjiang Zhang - 2002)

  • См., Например, Соавтор Lei Чжан Microsoft Research Publications, чтобы получить представление о многом изображении алгоритмических проблем в конечном счете участвуют здесь, так или иначе, а;)
    
    

• Соответственно, резюме вышеупомянутых подходов Detecting image orientation based on low-level visual content (Yongmei Michelle Ван и Чжан Hongjiang - 2003)

• довольно сложный один A Probabilistic Approach to Image Orientation Detection via Confidence-Based Integration of Low-Level and Semantic Cues (Jiebo Ло и Мэтью Boutel - 2004)

• Лучший матч в отношении Вашего названия вопроса на самом деле Image orientation detection with integrated human perception cues (or which way is up) (Лей Ван, Сюй Лю, Lirong Ся, Гуаню Xu, Альфред Bruckstein - 2003);)

• Наконец, вы можете захотеть взглянуть на соответствующий патент, касающийся system and method for automatic digital photo orientation detection() - основной алгоритм суммируются с большой детализацией в Figure 8;)

К сожалению, я не в курсе каких-либо доступных реализации/библиотек, хотя бы сюр если бы не было нескольких битов, доступных по крайней мере.

получайте удовольствие :)

Answer 2

Возможно, он читает exif information, хранящийся в заголовке jpg, когда это доступно. Это дает ориентацию камеры при фотосъемке. Это гораздо более простой подход, чем попытка проанализировать фотографию, чтобы узнать, какой путь вверх.

Есть eight possible orientations. Флаги сообщают вам, какой путь:

EXIF Orientation Value Row #0 is: Column #0 is: 
1      Top   Left side 
2*      Top   Right side 
3      Bottom  Right side 
4*      Bottom  Left side 
5*      Left side Top 
6      Right side Top 
7*      Right side Bottom 
8      Left side Bottom 

NOTE: Values with "*" are uncommon since they represent "flipped" orientations. 

Это уменьшит количество фотографий, в которых должно использоваться распознавание изображений.

Answer 3

Я не знаю конкретной реализации, но вот некоторые мысли:

1. Небо синее. Ищите синий по краю. Более синий = скорее всего, будет вверх.
2. Верхние области изображения имеют тенденцию иметь меньше деталей (небо, облака), чем нижние области.
3. Сделайте обнаружение края и найдите длинные горизонтальные линии. Если они не горизонтальны, возможно, изображение на его стороне. Объедините с # 1 и # 2, чтобы узнать, есть ли у вас 180 градусов или нет.

Обратите внимание, что в данных EXIF ​​есть поле поворота, которое находится от датчика ориентации камеры. Всегда используйте эти данные в первую очередь, так как остальное - это предположение обработки изображений.

Answer 4

Я не знаю готового решения этой проблемы, но это проблема классификации, и есть много классических алгоритмов, которые можно использовать. Pattern Recognition and Neural Networks B.D. Рипли хорошо читает эту тему.

openCV имеет модуль , который может быть использован для этого.

Решение, вероятно, будет включать в себя эвристику, подобную 1-3, в ответе Янна Рамина, но количественно определяемую как числа между 0 и 1 и помещенные в вектор. Вы можете использовать imags с данными exif о ориентации, чтобы сделать набор тренировок для классификатора.

Answer 5

У Picasa есть распознавание лица, что может помочь, даже если это не пометка известных людей.

Answer 6

Доминирующие источники света, как правило, работает ли он или нет ночью или днем, и будет ли или нет люди в сцене. Объединяя подсветку с обнаружением края, вы можете определить вероятные местоположения источников света сцены и судить о том, какой путь вверх.

EDIT: Большой вопрос - я потратил 5 минут на Google Scholar и не смог найти правильный проблемный домен.

EDIT: Получил его.Это называется «обнаружение ориентации изображения» - не слишком непонятное название.

EDIT: Краткий обзор показывает, что существует два основных подхода:

1. Комбинированные классификаторы - обучить множество различных классификаторов и объединить результаты, классический «бросить все, что вы получили на это» бессистемный подход , Здесь большая часть инновационного вклада в работу, как представляется, заключается в том, как создавать новые способы объединения разных классификаторов.
2. Специальные функции - выберите конкретный (или небольшой набор конкретных) функций и используйте их для классификации, определения ориентации. Некоторые примеры: распознавание лица + обнаружение края, локальное двойное совпадение шаблона (относительно: работает только между двумя изображениями одного и того же объекта).

В любом случае это, безусловно, интересное поле, и, похоже, больше патентов, чем бумаг, что делает его еще более интересным. Однако я не нашел ничего, что объясняет метод Picasa. Однако я нашел это:

S. Baluja (от Google) опубликовал следующие документы:

• Automated image-orientation detection: a scalable boosting approach, 2007
• Efficient face-orientation detection, 2004
• What's up CAPTCHA?: a CAPTCHA based on image orientation, 2009

Из этого можно сделать вывод, что методы в нем свидетельствуют о том, что использует Google.