MPEG-TS, Android и FFMPEG

Question

Я получаю пакеты MPEG-TS (MPEG-транспортный поток) с мультиплексированными потоками видео H.264 и AAC. Мне нужно показать аудио и видео на телефоне Android. Мое предположение состоит в том, что мне нужно:

• MPEG-TS демультиплексор
• AAC декодер
• H.264 декодер
• Синхронизация воспроизведения аудио и видео

Предполагая, что я (в Android 2.x) Де-мультиплексор MPEG-TS не является частью ОС и должен быть перенесен, и декодеры AAC и H.264 являются частью ОС Android, но я не уверен, что они имеют интерфейс, который позволяет передавать данные в буферах, и если они позволяют взаимная синхронизация времени. В худшем случае эти компоненты также должны быть перенесены.

Можете ли вы дать мне несколько советов, с чего начать? Я думал о портировании FFMPEG. Есть ли другие способы?

С уважением, Sten

Answer 1

Вы можете обратиться к проекту Android-FFmpeg на GitHub.

https://github.com/guardianproject/android-ffmpeg

Answer 2

В Gingerbread (2.3), на самом деле есть анализатор MPEG TS в рамках stagefright, что вы могли бы использовать. Кроме того, я считаю, что он хорошо интегрирован с H264 и AAC-декодерами. Парсер TS TS не рекламируется нигде, но поддержка там тихо сидит. Я верю, что они принесли его для поддержки потоковой передачи Apple HTTP Live в HC или более поздней версии, но код тоже сидит там в кодовой базе Gingerbread (2.3). С незначительной модификацией в рамках, вы можете воспроизводить потоковое видео в прямом эфире (которое фактически отправляет пакеты TS). Думаю, приведенная выше информация была бы полезна для вас.

Vibgyor

Answer 3

Android 4.x имеет OpenMAX, который может играть TS с H264 и AAC. Вам даже не нужно беспокоиться о синхронизации аудио и видео.

Посмотрите на образец nativemedia в NDK.

Если вы хотите поддерживать предыдущие версии Android, то ffmpeg может быть хорошим выбором, но максимум, который он может вам дать, - это просто декодированные видеокадры в RGB или любой другой формат и декодированный звук в PCM. Затем вам придется самостоятельно выполнять рендеринг и воспроизведение звука. Я бы рекомендовал прочитать этот урок - http://dranger.com/ffmpeg/. Это не андроид, но это даст вам представление о том, как работает видеоигра.

Answer 4

(ОТКАЗ: Я лично принимал участие в разработке бесплатно и с открытым исходным кодом программы, связанный ниже)

Статическая версия FFMpeg (как библиотека и командная строка) предоставляется по ZShaolin http://dyne.org/software/zshaolin также содержит другие инструменты преобразования информации.

Его использование может облегчить эксперименты по сценариям без необходимости компилировать FFMpeg с нуля.