iOS AVFoundation - можно ли добавить текст/изображение в видео с помощью перемещения по местоположению/движению?

Question

Мне известно, как добавить наложение текста/изображения в видео на iOS с AVFoundation.

1. Есть ли способ сделать это, используя положение/отслеживание движения определенных объектов/областей в видео?

2. Что именно называется функцией редактирования видео?

Предположим, у меня есть видео автомобиля, движущегося слева направо. Я хочу разместить изображение другого автомобиля на позиции оригинального автомобиля, так что, когда автомобиль в видео двигается слева направо, мое изображение следует за этой машиной. Я также хотел бы, чтобы это было правильно перекошено, когда автомобиль двигался слева направо.

Другим примером может служить видео с монитора. И я помещаю изображение на экран этого монитора.

Пожалуйста, дайте мне знать, если мне нужно объяснить дальше.

В отличие от iOS есть какая-то другая библиотека, способная это сделать? Как ffmpeg?

Answer 1

То, что вы в целом ищете, - это распознавание объектов, которое является довольно сложной темой в ее собственном праве и в части поля зрения компьютера.

AVFoundation включает в себя поддержку функции обнаружения лиц и выполняет довольно разумную работу https://developer.apple.com/reference/avfoundation/avmetadatafaceobject, но это все.

Для того, чтобы делать то, что вы пытаетесь сделать, я хотел бы начать с OpenCV (который включает в себя поддержку IOS) и исследовать оттуда http://opencv.org/

Вы не собираетесь найти литерал «найти мне машину «API», то, что вы найдете, - это множество различных алгоритмов, которые реализованы, что позволяет вам обучать их и определять объекты, для которых они обучены. Одним из потенциальных алгоритмов является использование каскадов Хаара. Здесь есть более подробная информация о работе с ними и обучении вашего собственного классификатора. https://github.com/andrewssobral/vehicle_detection_haarcascades