Point Cloud с помощью iPhone-камеры

Question

Я очень новичок в поле Computer Vision и очарован этим. Я все еще изучаю концепции, и одна вещь, которая действительно заинтересовала меня, - это облака Point и 3D-реконструкции с использованием изображений.

Мне было интересно, способны ли изображения, снятые с камеры iPhone 6, создавать Point Clouds. Я знаю о PCL (Cloud Cloud Library) и думал о разработке приложения iOS, которое будет использовать его.

Я использовал этот образец приложения PCL: https://github.com/9gel/hellopcl Это, в основном, средство визуализации, которое предоставляет данные облака Point Cloud. Я надеялся сделать приложение, которое будет использовать камеру в реальном времени для создания точечных облаков.

Мой вопрос: возможно ли это?

Благодаря

Answer 1

Ответ да, есть способы создания PointCloud из нескольких изображений. Некоторые часто используемые методы для создания 3D PointCloud из изображений являются:

3D Reconstruction from Multiple images:

Зная движение камеры в 6-DOF пространства, на основе изменений глубины интенсивностей изображения можно вычислить с помощью стандартных алгоритмов стерео корреспонденции. Но движение камеры невозможно точно оценить с помощью гироскопа, акселерометра и магнитометра.

Вы можете прочитать больше об этих методах здесь: General overview

В случае 6-DOF позирует неизвестно, по-прежнему можно извлечь облако точек из изображений с помощью некоторых методов, таких как:

SLAM:

Неопределенность в оценке положения может быть решена путем рассмотрения изображений вместе с информацией о движении, предоставляемой инерционными датчиками. SLAM - проблема куриного яйца. Чтобы оценить глубину, вам нужна точная информация о движении, чтобы информация о движении вам требовала информации о глубине. Существуют различные версии SLAM для мобильных телефонов.

LSD-SLAM:

Large-Scale Direct Монокуляр SLAM используется для создания плотной карты глубины от непрерывного видеопотока. Этот метод является вычислительно интенсивным. Может выполняться только в автономном режиме. Аналогичная версия реализована и для мобильных телефонов. Вы можете найти here

Bundle Adjustment (BA):

Традиционные Bundle Корректировки методы оценки структуры и движения камеры из нескольких изображений с использованием эпиполярных ограничений и согласования функций. Он потребляет больше памяти для глобальной оптимизации. Используя этот метод. Сейчас доступно несколько вариантов этого метода.

Вы можете найти различные подходы, основанные на одних и тех же концепциях. Многие из вышеперечисленных методов могут использоваться для создания 3D-pointcloud в автономном режиме. Но создание pointcloud в реальном времени - большая вещь для мобильных платформ, таких как iPhone.

Thanks