媒体编解码器MediaCodec

偏执的太偏执、 2024-02-28 06:59 26阅读 0赞

**目录**

1.介绍MediaCodec类

2.创建MediaCodec的方式

3.MediaCodec流程

（1）配置编码参数

（2）创建编码器

（3）创建混合器

（4）开始编码

4.MediaCodec编码的工作方式

5.MediaCodec状态周期图

6.使用缓冲区的异步和同步处理

7.录制纯视频demo

--------------------

#### 1.介绍MediaCodec类 ####

--------------------

####  ####

final public class MediaCodec

MediaCodec类可以访问底层媒体编解码框架（Stage或OpenMAX），即编解码组件。通常与MediaExtractor、MediaSync、MediaMuxer、Image、Surface和AudioTrack一起使用。它本身并不是Codec，它通过调用底层编解码组件获得了Codec的能力。

#### 2.创建MediaCodec的方式 ####

--------------------

创建MediaCodec（按格式创建）：

*  MediaCodec createDecoderByType(String type):创建编码器。
 *  MediaCodec createEncoderByType(String type):创建解码器。
 *  type:数据解析阶段的mimeType,如”video/avc“。

创建MediaCodec（按Codec名字创建）：

*  MediaCodec createByCodecName(String name)。
 *  OMX.google.h264.decoder:软解码
 *  OMX.MTK.VIDEO.DECODER.AVC:硬解码

#### 3.MediaCodec流程 ####

--------------------

![a462c25a43b14a0bbd5e181e42b3d1bf.png][]

##### （1）配置编码参数 #####

**视频类型的Mediaformat**

可以通过如下代码创建视频类型Mediaformat：

MediaFormat videoFormat = MediaFormat.createVideoFormat(videoType, width, height);

videoType常用的有两种:

*  MediaFormat.MIMETYPE\_VIDEO\_AVC（H.264）
 *  MediaFormat.MIMETYPE\_VIDEO\_HEVC（H.265）

以下配置是必须要指定的，否则会报错。

MediaFormat format = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
                //色彩空间
                format.setInteger(MediaFormat.KEY_COLOR_FORMAT,
                        MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);
                //码率
                format.setInteger(MediaFormat.KEY_BIT_RATE,500_000);
                //帧率fps
                format.setInteger(MediaFormat.KEY_FRAME_RATE,20);
                //关键帧间隔
                format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL,2);

**音频类型的Mediaformat**

可以通过如下代码创建音频类型Mediaformat：

MediaFormat.createAudioFormat(audioType, sampleRate, channelCount);

*  audioType：常用的是MediaFormat.MIMETYPE\_AUDIO\_AAC;
 *  sampleRate：采样率
 *  channelCount：声道数

以下配置是必须要指定的，否则会报错。

//音频比特率（码率）
    audioFormat.setInteger(MediaFormat.KEY_BIT_RATE, 96000);

##### （2）创建编码器 #####

配置解码器或者编码器configure函数

> public void configure( @Nullable MediaFormat format,
> 
> @Nullable Surface surface,  
> @Nullable MediaCrypto crypto,
> 
> @ConfigureFlag int flags)

函数的参数介绍：

*  MediaFormat format：输入数据的格式(解码器)或输出数据的所需格式(编码器)。传null等同于传递MediaFormat.MediaFormat作为空的MediaFormat。
 *  Surface surface：指定Surface，用于解码器输出的渲染。如果编解码器不生成原始视频输出(例如，不是视频解码器)和/或想配置解码器输出ByteBuffer，则传null。
 *  MediaCrypto crypto：指定一个crypto对象，用于对媒体数据进行安全解密。对于非安全的编解码器，传null。
 *  int flags：当组件是编码器时，flags指定为常量CONFIGURE\_FLAG\_ENCODE。

使用示例：

*      mediaCodec=MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
                    mediaCodec.configure(format,null,null,MediaCodec.CONFIGURE_FLAG_ENCODE);
                    mediaCodec.start();

##### （3）创建混合器 #####

创建混合器MediaMuxer函数

public MediaMuxer(@NonNull String path, @Format int format)

函数的参数介绍：

*  path:输出文件的路径
 *  format:输出的格式

示例代码：

mMuxer=new MediaMuxer(path,
                        MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4
                        );
                mMuxer.setOrientationHint(degress);

##### （4）开始编码 #####

介绍MediaCodec编码用到的四个方法：  
**1. dequeueInputBuffer**

返回用于填充有效数据的输入buffer的索引，如果当前没有可用的buffer，则返回-1。

> public final int dequeueInputBuffer(long timeoutUs)

函数的参数介绍：

*  long timeoutUs：等待可用的输入buffer的时间。
 *  如果timeoutUs == 0，则立即返回。
 *  如果timeoutUs < 0，则无限期等待可用的输入buffer。
 *  如果timeoutUs > 0，则等待“timeoutUs”微秒。

**2. queueInputBuffer**

在指定索引处填充输入buffer后，使用queueInputBuffer将buffer提交给组件。

>   
> public native final void queueInputBuffer(  
> int index,  
> int offset, int size, long presentationTimeUs, int flags)

*  int index：以前调用dequeueInputBuffer(long)返回的输入buffer的索引。
 *  int offset：数据开始时输入buffer中的字节偏移量。
 *  int size：有效输入数据的字节数。
 *  long presentationTimeUs：此buffer的PTS(以微秒为单位)。
 *  int flags：一个由BUFFER\_FLAG\_CODEC\_CONFIG和BUFFER\_FLAG\_END\_OF\_STREAM标志组成的位掩码。虽然没有被禁止，但是大多数codec并不对输入buffer使用BUFFER\_FLAG\_KEY\_FRAME标志。

**3. dequeueOutputBuffer**

从MediaCodec获取输出buffer。

> public final int dequeueOutputBuffer(  
> @NonNull BufferInfo info, long timeoutUs)

*  BufferInfo info：输出buffer的metadata。
 *  long timeoutUs：含义同dequeueInputBuffer中的timeoutUs参数。
 *  返回值：已成功解码的输出buffer的索引或INFO\_\*常量之一(INFO\_TRY\_AGAIN\_LATER, INFO\_OUTPUT\_FORMAT\_CHANGED 或 INFO\_OUTPUT\_BUFFERS\_CHANGED)。返回INFO\_TRY\_AGAIN\_LATER而timeoutUs指定为了非负值，表示超时了。返回INFO\_OUTPUT\_FORMAT\_CHANGED表示输出格式已更改，后续数据将遵循新格式。

**4. releaseOutputBuffer**

使用此方法将输出buffer返回给codec或将其渲染在输出surface。

> public void releaseOutputBuffer (int index, boolean render)

*  index：以前调用dequeueOutputBuffer(long)返回的输入buffer的索引。
 *  boolean render：如果在配置codec时指定了一个有效的surface，则传递true会将此输出buffer在surface上渲染。一旦不再使用buffer，该surface将把buffer释放回codec。

示例代码：

public void queueEncode(byte[] buffer){
            if(!isRecording){
                Log.e("xxx","没开始录制");
                return;
            }
            Log.e("xxx","开始录制");
            mHandler.post(new Runnable() {
                @Override
                public void run() {
                         //立即得到有效输入缓冲区
                    int index=mediaCodec.dequeueInputBuffer(0);
                    if(index>=0){
                        ByteBuffer inputBuffer=mediaCodec.getInputBuffer(index);
                        inputBuffer.clear();
                        inputBuffer.put(buffer,0,buffer.length);
                        //填充数据后再加入队列
                        mediaCodec.queueInputBuffer(index,0,buffer.length,System.nanoTime()/1000,0);
                    }
                    while (true){
                        //获取输出缓冲区（编码后的数据从缓冲区获取）
                        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
                        int encoderStatus = mediaCodec.dequeueOutputBuffer(bufferInfo, 10_000);
                        //稍后重试
                        if(encoderStatus== MediaCodec.INFO_TRY_AGAIN_LATER){
                            break;
                        }else if(encoderStatus==MediaCodec.INFO_OUTPUT_FORMAT_CHANGED){
                            //输出格式发生变化 第一次总会调用，所以在这里开启混合器
                            MediaFormat newFormat=mediaCodec.getOutputFormat();
                            videoTrack=mMuxer.addTrack(newFormat);
                            mMuxer.start();
                        }else if(encoderStatus==MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED){
                            //可以忽略
                        }else{
                            //正常则encoderStatus 获取缓冲区下标
                            ByteBuffer encodedData=mediaCodec.getOutputBuffer(encoderStatus);
                            //如果当前的buffer是配置信息，不管它，不用写出去
                            if((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG)!=0){
                                bufferInfo.size=0;
                            }
                            if(bufferInfo.size!=0){
                                //设置从哪里开始读数据（读出来就是编码后的数据）
                                encodedData.position(bufferInfo.offset);
                                //设置能读数据的总长度
                                encodedData.limit(bufferInfo.offset+bufferInfo.size);
                                //写出为MP4
                                mMuxer.writeSampleData(videoTrack,encodedData,bufferInfo);
                            }
                            //释放这个缓冲区，后续可以存放新的编码后的数据
                             mediaCodec.releaseOutputBuffer(encoderStatus,false);
                        }
                    }
                }
            });
        }

#### 4.MediaCodec编码的工作方式 ####

--------------------

简单来说，可以看做是一个生产者-消费者模式，在MediaCodec里面有两个队列，一个是输入队列，一个是输出队列，数据放入输入队列，MediaCodec拿出数据进行编码，把编码完的数据放入输出队列。

![46ea1addac074e039bf9b69bf5b7ebfa.png][]

#### 5.MediaCodec状态周期图 ####

--------------------

在MediaCodec的生命周期内存在3种状态，即Stopped、Executing和Released。

Stopped状态还可处于三个状态：Uninitialized、Configures和Error。

Executing状态概念上的进展通过3个子状态进行：Flushed、Running和end-of-Stream。

MediaCodec状态周期图如下图：

![16cbeba91e85419e99ac762e4106a7f9.png][]

#### 6.使用缓冲区的异步和同步处理 ####

--------------------

使用缓冲区的异步处理：

![65e926d51da04565af3df776a13cb4ba.png][]

在异步模式下，媒体编解码器通常像这样使用：

MediaCodec codec = MediaCodec.createByCodecName(name);
     MediaFormat mOutputFormat; // member variable
     codec.setCallback(new MediaCodec.Callback() {
      @Override
      void onInputBufferAvailable(MediaCodec mc, int inputBufferId) {
        ByteBuffer inputBuffer = codec.getInputBuffer(inputBufferId);
        // fill inputBuffer with valid data
        …
        codec.queueInputBuffer(inputBufferId, …);
      }
     
      @Override
      void onOutputBufferAvailable(MediaCodec mc, int outputBufferId, …) {
        ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferId);
        MediaFormat bufferFormat = codec.getOutputFormat(outputBufferId); // option A
        // bufferFormat is equivalent to mOutputFormat
        // outputBuffer is ready to be processed or rendered.
        …
        codec.releaseOutputBuffer(outputBufferId, …);
      }
     
      @Override
      void onOutputFormatChanged(MediaCodec mc, MediaFormat format) {
        // Subsequent data will conform to new format.
        // Can ignore if using getOutputFormat(outputBufferId)
        mOutputFormat = format; // option B
      }
     
      @Override
      void onError(…) {
        …
      }
      @Override
      void onCryptoError(…) {
        …
      }
     });
     codec.configure(format, …);
     mOutputFormat = codec.getOutputFormat(); // option B
     codec.start();
     // wait for processing to complete
     codec.stop();
     codec.release();

使用缓冲区的同步处理：

媒体编解码器在同步模式下通常这样使用：

MediaCodec codec = MediaCodec.createByCodecName(name);
     codec.configure(format, …);
     MediaFormat outputFormat = codec.getOutputFormat(); // option B
     codec.start();
     for (;;) {
      int inputBufferId = codec.dequeueInputBuffer(timeoutUs);
      if (inputBufferId >= 0) {
        ByteBuffer inputBuffer = codec.getInputBuffer(…);
        // fill inputBuffer with valid data
        …
        codec.queueInputBuffer(inputBufferId, …);
      }
      int outputBufferId = codec.dequeueOutputBuffer(…);
      if (outputBufferId >= 0) {
        ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferId);
        MediaFormat bufferFormat = codec.getOutputFormat(outputBufferId); // option A
        // bufferFormat is identical to outputFormat
        // outputBuffer is ready to be processed or rendered.
        …
        codec.releaseOutputBuffer(outputBufferId, …);
      } else if (outputBufferId == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
        // Subsequent data will conform to new format.
        // Can ignore if using getOutputFormat(outputBufferId)
        outputFormat = codec.getOutputFormat(); // option B
      }
     }
     codec.stop();
     codec.release();

#### 7.录制纯视频demo ####

功能介绍：

实现Camera1采集相机数据，设置预览画布TextureView显示采集的数据，然后MediaCode对图像数据编码，最后MediaMuxer把图像数据放入MP4盒子。

运行图：

![4a996092f4f84e0a9d5427ae1081aa1f.jpeg][]

这是我的项目代码：

（小白一个，代码只是能简单地实现功能）

[https://github.com/Bookonpillow/mediacode][https_github.com_Bookonpillow_mediacode]

[a462c25a43b14a0bbd5e181e42b3d1bf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/28/cb4cbd17472041a0a23e20823f7ae2bc.png
[46ea1addac074e039bf9b69bf5b7ebfa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/28/0fa0703cb3ad40be8b28b3dc9e9329b6.png
[16cbeba91e85419e99ac762e4106a7f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/28/8a619268141e4d6992f986093b702160.png
[65e926d51da04565af3df776a13cb4ba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/28/420e983e03a3465d9e844532f7c293d5.png
[4a996092f4f84e0a9d5427ae1081aa1f.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/28/be699e73cbeb48ef8ff60dc4edfa9944.png
[https_github.com_Bookonpillow_mediacode]: https://github.com/Bookonpillow/mediacode