Parsing VP8/OPUS frames

Question

Я разрабатываю симулятор webrtc в среде Linux с использованием языка C. Здесь мне нужно отправить медиа с одного симулятора webrtc на другой симулятор webrtc. Мне нужно работать с кодеками VP8 и Opus. Теперь я начинаю с кодека VP8. Поскольку я новичок в VP8, любезно помогите мне понять и больше.

1. Поскольку это симулятор, я не хочу захватывать/воспроизводить медиа в реальном времени. Мне нужно прочитать аудио/видео данные из файла и отправить его на удаленный. На пульте дистанционного управления извлеките данные мультимедиа, сохраните их в файл.

2. В каком формате файла содержатся закодированные данные VP8? Это формат веб-файла или что-то еще?

3. Предполагая, что файл webm содержит данные кодека VP8 и OPUS (что я не уверен), как я могу разделить кадр за кадром. Например, если я читаю Extract audio frames from AMR-NB file, я могу анализировать кадры amr из файла. Точно так же есть страница справки, где я изучаю логику разбора для кадра VP.

4. Или есть ли какой-либо открытый исходный код с использованием этого, я могу разбирать кадры VP8/OPUS из файла webm.

Answer 1

Q2: Начну с вопроса № 2, VP8 соответствует формату WebM.

Q3: Если вы хотите анализировать кадр за кадром, вам необходимо знать структуру VP8 и OPUS. Я не знаю, что означает симулятор в вашем сценарии, но в среде WebRTC медиаданные передаются через RTP. Если вы выполняете симуляцию без RTP, пожалуйста, начните с шага 2, в противном случае начните с № 1.

1. Деадаптируйте полезную нагрузку RTP из пакета RTP. Полезная нагрузка RTP содержит информацию о пакете VP8, такую ​​как порядковый номер, временную метку и т. Д.
2. Обратите внимание, что кадр VP8 может состоять из нескольких пакетов VP8, поэтому в основном вам необходимо извлечь содержимое фрейма и объединить его вместе. Существует несколько способов узнать, состоит ли кадр из нескольких пакетов, но не все они полностью стандартизованы, но на данный момент я бы рекомендовал вам использовать порядковый номер, так как пакеты одного кадра имеют один и тот же SEQ.
3. Запишите рамку в файл. Если вы хотите создать действительный файл WebM, используйте функцию, например av_write_frame() из LibAV (которую я лично использую).

Я могу порекомендовать вам фрагмент кода, который фактически преобразует необработанные пакеты RTP VP8 в рамки VP8: https://github.com/meetecho/janus-gateway/blob/master/postprocessing/pp-webm.c. Чтение заголовка пакета используется в функциях (предварительный процесс и процесс).

Q4: Я использую LibAV для таких целей (альтернативно FFMPEG).

Я с удовольствием отвечу на любой другой вопрос.