Мы используем локальную камеру HoloLens (в Unity) для выполнения ряда задач распознавания изображений. Мы хотели бы использовать функцию захвата смешанной реальности (MRC), доступную на портале разработчиков HoloLens, чтобы мы могли демонтировать наше приложение, но MRC падает, потому что мы заставляем камеру работать в режиме фото.Распознавание объектов с помощью Mixed Reality Capture (MRC)
У кого-нибудь есть хороший обход? У нас были некоторые идеи, но ни один из них не имеет больших недостатков.
Решение: Поместите свою локализованную камеру в режим видео, чтобы вы могли совместно использовать видео камеру с MRC. Даунсайд: Видеорежим позволяет нам только сохранить видео на диск, но нам нужен доступ в реальном времени к буферу в памяти (способ доступа к фотографии), чтобы мы могли осуществлять наше обнаружение в реальном времени.
Захват видео в плагине C++ и передача байтов кадра в Unity. Это позволяет MRC работать должным образом. Даунсайд: Мы теряем «локативную» часть «локализованной камеры», так как мы больше не получаем доступ к матрице преобразования cameraSpaceToWorldSpace, которую мы используем в нашем пользовательском интерфейсе, чтобы находить наши признанные объекты в мировом пространстве. Подраздел: заново создайте матрицу преобразования местоположения камеры. Недостаток: У меня нет понимания того, как Microsoft создает эту матрицу преобразования. Я предполагаю, что это связано с некоторыми аппаратными сложностями, такими как учет искажений объектива. Если кто-то может привести меня к тому, как будет создана эта матрица, это может быть одно решение.
Решение: Выключите распознавание объекта во время создания ВРК, затем включите его снова, когда вы сделали запись Даунсайд: Наша система распознавания работает в режиме реального времени, п раз в секунду. Не было бы возможности зафиксировать распознавания на видео.