H.264编码

你的名字 2024-03-02 10:20 45阅读 0赞

#### 1.为什么要对视频进行编码 ####

视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像，由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，我们看到的就是动作连续的视频，这么多连续的图像数据如果不经过编码则数据量太大了。

#### 2.H.264编码框架 ####

H.264码流文件分为两层

（1）VCL(Video Coding Layer，视频编码层): 负责高效的视频内容表示，VCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。

（2）NAL (Network Abstraction layer，网络提取层): 负责以网络所要求的恰当的方式对数据进行打包和传送，是传输层。I不管在本地播放还是网络播放，都要通过这一层来传输。

![cb75715af734417591c3f8642e26b070.png][]

VCL就是被压缩编码后的原始数据

将VCL数据封装到NAL单元中，才可以用于传输和存储

#### 3.H.264码流分析 ####

一般H.264编码器的默认输出为：起始码+NAL单元(NALU)。起始码为：0x00000001或者0x000001

（1）NAL单元

H.264的编码视频序列包括一系列的NAL单元。

一个NAL单元=一个原始字节序列负载（RBSP）\+一个对应于视频编码的NAL头文件。

H.264码流NAL单元序列如图

![7ad65edb895e4e8f99ae78ec3da2b321.png][]

（2）NAL Header

通过解析NAL头部，可以确定每个NAL单元的帧类型IPB帧。

l帧:帧内编码帧，关键帧，l帧可以看作一个图像经过压缩之后的产物，可以单独解码出一个完整的图像。  
P:前向预测编码，记录了本帧跟之前的一个关键帧(或P)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。  
B帧:双向预测编码帧，记录了本帧与前后帧的差别，解码需要参考前面一个I帧或者P帧，同时也需要后面的P帧才能解码一张完整的图像。

![31c1b2e3cd5f4265855b6aa568640866.png][]

NAL头的组成：

NAL头由一个字节组成，如下所示：

语法：禁止位（1位）、重要性指示位（2位）、NALU类型（5位）。

|0|1|2|3|4|5|6|7|

|F|NRI| Type|

NAl头信息的每一位说明如表所示

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>位</td> 
   <td>0</td> 
   <td>1~2</td> 
   <td>3~7</td> 
  </tr> 
  <tr> 
   <td>简称</td> 
   <td>F</td> 
   <td>NRI</td> 
   <td>TYPE</td> 
  </tr> 
  <tr> 
   <td>全称</td> 
   <td>forbidden_zero_bit</td> 
   <td>nal_ref_idc</td> 
   <td>nal_unit_type</td> 
  </tr> 
  <tr> 
   <td>中文</td> 
   <td>禁止位</td> 
   <td>重要性指示位</td> 
   <td>NALU类型</td> 
  </tr> 
  <tr> 
   <td>作用</td> 
   <td>当网络发现NAL单元有比特错误时，可设置该比特为1，以便接收方丢掉该单元</td> 
   <td>标志该NAL单元用于重建时的重要性，值越大，越重要，取值为00~11</td> 
   <td>1~23表示单个NAL包，24~31需要分包或者组合发送。</td> 
  </tr> 
 </tbody> 
</table>

nal\_unit\_type取值的含义如下：

![80a625c1efbd47abbd0e5531528e98ae.png][]

（3）原始字节序列负载（RBSP）

每个NAL单元包含一个RBSP。典型的RBSP单元序列如图

![ca7119935f69430aab9529c0ad0e757b.png][]

每个单元都独立的NAL单元传送。NAL单元的信息头（1字节）定义了RBSP单元的类型，NAL单元的其余部分为RBSP数据。

RBSP各部分的解释:

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>RBSP</td> 
   <td>描述</td> 
  </tr> 
  <tr> 
   <td>参数集PS</td> 
   <td>序列的全局参数</td> 
  </tr> 
  <tr> 
   <td>增强信息SEI</td> 
   <td>视频序列解码的增强信息</td> 
  </tr> 
  <tr> 
   <td>图像定界符</td> 
   <td>视频图像的边界</td> 
  </tr> 
  <tr> 
   <td>编码</td> 
   <td>片（Slice）的头信息和数据</td> 
  </tr> 
  <tr> 
   <td>数据分割</td> 
   <td>DP片层的数据，用于错误恢复解码</td> 
  </tr> 
  <tr> 
   <td>序列结束符</td> 
   <td>表明下一图像为IDR图像</td> 
  </tr> 
  <tr> 
   <td>流结束符</td> 
   <td>表明该流中已没有图像</td> 
  </tr> 
  <tr> 
   <td>填充数据</td> 
   <td>元数据，用于填充字节</td> 
  </tr> 
 </tbody> 
</table>

片（Slice）:  
一帧图片经过 H.264 编码器之后，就被编码为一个或多个片 (slice),每片包含整数个宏块(至少一个宏块，最多包含整个图像宏块)，NAL单元就是装载着这些片 (slice)的载体。

片的语法结构：片头规定了片的类型，属于哪个图像、有关的参考图像等；片的数据包含了一系列宏块和不编码数据。

![1c31fc0a898c4964b80e81630a47ef87.png][]

#### 4.H.264编码原理 ####

H.264编码的原理是通过利用帧内和帧间的相关性、运动估计、变换、量化和熵编码等技术来减小视频数据的体积，从而实现高效的视频压缩。解码器在接收到H.264编码的视频流后，通过反向过程将其还原为可视的视频序列，以实现视频的播放和显示。

[cb75715af734417591c3f8642e26b070.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c72e63e3a8224d9ba47d4d3229ec0c31.png
[7ad65edb895e4e8f99ae78ec3da2b321.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/fa31806fd0594ae89a4b8323bf1c45a2.png
[31c1b2e3cd5f4265855b6aa568640866.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c0bffdc2e1614f4493f933371a257600.png
[80a625c1efbd47abbd0e5531528e98ae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/1f4b9d1c7fd34c759d661c174a23feab.png
[ca7119935f69430aab9529c0ad0e757b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/fc7426f9c246425293325668a184016a.png
[1c31fc0a898c4964b80e81630a47ef87.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/18ab738a0d7f4802b122d2b8a2e8d52a.png