Максимальная производительность захвата и отображения видеокамеры

Question

Я много разбирался в этой теме, но кажется, что я делаю что-то неправильно или мое понимание как-то не так.

Поскольку у меня довольно хороший смартфон (Nexus 4), я предположил, что это должно быть тривиальной задачей. Но все мои усилия не оправдались. Например. Я достиг всего 10 FPS для потока 800x480, используя новейшую инфраструктуру OpenCV.

Итак, можно ли достичь> 25FPS для захвата и отображения высококачественного видео с камеры моего телефона? Если да, то какова лучшая стратегия для этого? Особые соображения устройства приветствуются.

Ресурсы я использовал:

• http://obviam.net/index.php/texture-mapping-opengl-android-displaying-images-using-opengl-and-squares/
• http://mesai0.blogspot.de/2013/01/android-native-camera-with-opencv-and.html
• http://opencv.org/

Update: Я был в состоянии увеличить производительность до захвата почти постоянными ~ 25fps @ 1280x720, просто установив recording hint, пока e используя SurfaceTexture и TextureView в качестве раковины камеры.

Однако мне интересно, возможно ли увеличить производительность еще больше. Я пытался использовать разные форматы предварительного просмотра, но без везения. Возможно, существует неявный верхний предел, примененный к производительности захвата, о котором я не знаю.

Тем не менее, я продолжу исследования и информирую вас. Все виды информации по-прежнему приветствуются!

Answer 1

Ограничивающим фактором является то, как быстро вы можете перемещать большую кучу данных. Существует аналогичная дискуссия here. У вас есть три задачи: (1) получить изображение, (2) сохранить изображение («захват») и (3) отобразить изображение. (Если я неправильно понял ваш вопрос, и вам не понадобится №2, то режим предварительного просмотра камеры Surface будет делать то, что вы хотите на высокой скорости.)

Один подход к эффективному использованию полосы пропускания, доступный на Android 4.3 , должен подать предварительный просмотр камеры Surface в кодер AVC, сохранить закодированный поток MPEG, а затем декодировать кадры для отображения. Буферы из камеры могут быть поданы в кодировщик MediaCodec без необходимости их копирования или преобразования данных в другой формат. (См. Пример CameraToMpegTest.) Этот подход может быть несовместим с одной из ваших заявленных целей: сжатие, применяемое к каждому кадру, может снизить качество ниже допустимых уровней.

Если вам нужно сохранить рамки «целиком», вам нужно скопировать данные, возможно, несколько раз, и записать их на диск. Чем больше кадр, тем больше данных вам нужно переместить, а тем медленнее все. Например, камера захватывает данные и записывает их в собственный буфер; собственный буфер копируется в управляемый буфер для Dalvik VM; буфер записывается на диск; YUV преобразуется в RGB; RGB отображается на экране, загружая данные в текстуру и визуализируя их.