Android MediaCodec декодирует h264 необработанный кадр

Question

Я использую Android MediaCodec API для декодирования кадров h264. Я мог бы декодировать и визуализировать рамки на представлении. Моя проблема заключается в том, что декодер пропускает множество кадров, особенно первые несколько кадров. DecodeMediaCodec.dequeueOutputBuffer() return -1. aAbout 150 кадров h264, только декодированные 43 кадра. Я не могу найти, где проблема. Вот мои коды.

/** 
* init decoder 
*/ 
private void initDecodeMediaCodec() 
{ 
    mDecodeMediaCodec = MediaCodec.createDecoderByType(MIME_TYPE); 
    MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, 
      VIDEO_WIDTH_640, 
      VIDEO_HEIGHT_480); 

    mDecodeMediaCodec.configure(format, 
      new Surface(mRemoteVideoView.getSurfaceTexture()), 
      null, 
      0); 
    mDecodeMediaCodec.start(); 
    mDecodeInputBuffers = mDecodeMediaCodec.getInputBuffers(); 
    System.out.println("decode-----" 
      + mDecodeMediaCodec.getCodecInfo().getName()); 
} 

После начального декодирования я начну декодировать нить.

/** 
* 
* @param frameData 
*/ 
private void decode() 
{ 
    new Thread(new Runnable() 
    { 
     @Override 
     public void run() 
     { 
      while (true) 
      { 
       ByteBuffer decodeDataBuffer = null; 
       try 
       { 
        //take h264 frame from cache queue 
        decodeDataBuffer = decodeDataQuene.take(); 
       } 
       catch (InterruptedException e) 
       { 
        e.printStackTrace(); 
       } 


       BufferInfo info = new BufferInfo(); 
       int inputBufferIndex = mDecodeMediaCodec.dequeueInputBuffer(-1); 
       System.out.println("inputBufferIndex: " + inputBufferIndex); 
       if (inputBufferIndex >= 0) 
       { 
        ByteBuffer buffer = mDecodeInputBuffers[inputBufferIndex]; 
        buffer.clear(); 
        buffer.put(decodeDataBuffer.array()); 
        mDecodeMediaCodec.queueInputBuffer(inputBufferIndex, 
          0, 
          decodeDataBuffer.array().length, 
          0, 
          0); 
        decodeDataBuffer.clear(); 
        decodeDataBuffer = null; 
       } 

       int outputBufferIndex = mDecodeMediaCodec.dequeueOutputBuffer(info, 
         1000); 
       System.out.println("outputBufferIndex: " 
         + outputBufferIndex); 
       do 
       { 

        if (outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) 
        { 
         //no output available yet 
        } 
        else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) 
        { 
         //encodeOutputBuffers = mDecodeMediaCodec.getOutputBuffers(); 
        } 
        else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) 
        { 
         MediaFormat formats = mDecodeMediaCodec.getOutputFormat(); 
         //mediaformat changed 
        } 
        else if (outputBufferIndex < 0) 
        { 
         //unexpected result from encoder.dequeueOutputBuffer 
        } 
        else 
        { 
         mDecodeMediaCodec.releaseOutputBuffer(outputBufferIndex, 
           true); 

         outputBufferIndex = mDecodeMediaCodec.dequeueOutputBuffer(info, 
           0); 
         System.out.println("inner outputBufferIndex: " 
           + outputBufferIndex); 
        } 
       } while (outputBufferIndex > 0); 
      } 
     } 
    }).start(); 
} 

Кто-нибудь знает, почему? Я надеюсь, что ваш help.My андроид устройство нексус 7.

Answer 1

Получение -1 назад от MediaCodec#dequeueOutputBuffer() нормально. Это просто означает, что у него пока нет готового выхода.

Это не тот случай, когда вы передаете буфер закодированных данных и немедленно получаете декодированный буфер обратно. Вы передаете ему буфер данных, который отправляется на процесс mediaserver, который передает его в аппаратный декодер AVC, который все еще может быть инициализирован или, может быть, просто нравится сидеть на нескольких кадрах. Когда процесс декодирования завершается, декодированные данные передаются обратно через mediaserver в ваш процесс приложения.

Уловка, звонок queueInputBuffer() немедленно возвращается. При нормальной работе входная сторона декодера будет запускать несколько кадров перед выходной стороной. Когда вы закончите подавать ввод, вы установите флаг конца потока, и когда вы увидите, что EOS установлен на выходе, вы знаете, что достигли конца.

Вы можете найти различные рабочие примеры на bigflake и в Grafika. Примеры DecodeEditEncodeTest и EncodeDecodeTest работают исключительно с необработанным H.264, остальные используют MediaExtractor и MediaMuxer для обработки обложек файлов MP4.