视频编解码学习之一：理论基础

太过爱你忘了你带给我的痛 2022-09-19 04:23 282阅读 0赞

转自 [http://www.cnblogs.com/xkfz007/archive/2012/08/12/2613690.html][http_www.cnblogs.com_xkfz007_archive_2012_08_12_2613690.html]

**第1章介绍**

1. 为什么要进行视频压缩？

*  未经压缩的数字视频的数据量巨大
 *  存储困难
    
     *  一张DVD只能存储几秒钟的未压缩数字视频。
 *  传输困难
    
     *  1兆的带宽传输一秒的数字电视视频需要大约4分钟。

![201207290832359614.png][]

2. **为什么可以压缩**

*  去除冗余信息
    
     *  空间冗余：图像相邻像素之间有较强的相关性
     *  时间冗余：视频序列的相邻图像之间内容相似
     *  编码冗余：不同像素值出现的概率不同
     *  视觉冗余：人的视觉系统对某些细节不敏感
     *  知识冗余：规律性的结构可由先验知识和背景知识得到

3. **数据压缩分类**

*  无损压缩（Lossless）
    
     *  压缩前解压缩后图像完全一致X=X'
     *  压缩比低(2:1~3:1)
     *  例如：Winzip，JPEG-LS
 *  有损压缩（Lossy）
    
     *  压缩前解压缩后图像不一致X≠X'
     *  压缩比高(10:1~20:1)
     *  利用人的视觉系统的特性
     *  例如：MPEG-2，H.264/AVC，AVS

![201207290832356582.png][]

4. **编解码器**

*  编码器（Encoder）
    
     *  压缩信号的设备或程序
 *  解码器（Decoder）
    
     *  解压缩信号的设备或程序
 *  编解码器(Codec)
    
     *  编解码器对

5. 压缩系统的组成

(1) 编码器中的关键技术

![201207290832366059.png][]

(2) 编解码中的关键技术

![201207290832364663.png][]

6. **编解码器实现**

*  编解码器的实现平台：
    
     *  超大规模集成电路VLSI
        
         *  ASIC， FPGA
     *  数字信号处理器DSP
     *  软件
 *  编解码器产品：
    
     *  机顶盒
     *  数字电视
     *  摄像机
     *  监控器

7. 视频编码标准

编码标准作用：

*  兼容：
    
     *  不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码
 *  高效：
    
     *  标准编解码器可以进行批量生产，节约成本。

主流的视频编码标准：

*  MPEG-2
 *  MPEG-4 Simple Profile
 *  H.264/AVC
 *  AVS
 *  VC-1

标准化组织：

*  ITU：International Telecommunications Union
    
     *  VECG：Video Coding Experts Group
 *  ISO：International Standards Organization
    
     *  MPEG：Motion Picture Experts Group

8. 视频传输

*  视频传输：通过传输系统将压缩的视频码流从编码端传输到解码端
 *  传输系统：互联网，地面无线广播，卫星

9. 视频传输面临的问题

*  传输系统不可靠
    
     *  带宽限制
     *  信号衰减
     *  噪声干扰
     *  传输延迟
 *  视频传输出现的问题
    
     *  不能解码出正确的视频
     *  视频播放延迟

10. 视频传输差错控制

*  差错控制（Error Control）解决视频传输过程中由于数据丢失或延迟导致的问题
 *  差错控制技术：
    
     *  信道编码差错控制技术
     *  编码器差错恢复
     *  解码器差错隐藏

11. **视频传输的QoS参数**

*  数据包的端到端的延迟
 *  带宽：比特/秒
 *  数据包的流失率
 *  数据包的延迟时间的波动

**第2章 数字视频**

1.图像与视频

*  图像：是人对视觉感知的物质再现。
 *  三维自然场景的对象包括：深度，纹理和亮度信息
 *  二维图像：纹理和亮度信息

![201207290832363060.png][]

*  视频：连续的图像。
 *  视频由多幅图像构成，包含对象的运动信息，又称为运动图像。

![201207290832369713.png][]

2. 数字视频

*  数字视频：自然场景空间和时间的数字采样表示。
    
     *  空间采样
        
         *  解析度（Resolution）
     *  时间采样
        
         *  帧率：帧/秒

![201207290832361141.png][]

3. 空间采样

*  二维数字视频图像空间采样

![201207290832378666.png][]

4. 数字视频系统

*  采集
    
     *  照相机，摄像机
 *  处理
    
     *  编解码器，传输设备
 *  显示
    
     *  显示器

![201207290832372811.png][]

5. 人类视觉系统HVS

*  HVS
    
     *  眼睛
     *  神经
     *  大脑

![201207290832378699.png][]

*  HVS特点：
    
     *  对高频信息不敏感
     *  对高对比度更敏感
     *  对亮度信息比色度信息更敏感
     *  对运动的信息更敏感

![201207290832378176.png][]

6. 数字视频系统的设计应该考虑HVS的特点：

*  丢弃高频信息，只编码低频信息
 *  提高边缘信息的主观质量
 *  降低色度的解析度
 *  对感兴趣区域（Region of Interesting，ROI）进行特殊处理

![201207290832373749.png][]

7. RGB色彩空间

*  三原色：红（R），绿（G），蓝（B）。
 *  任何颜色都可以通过按一定比例混合三原色产生。
 *  RGB色度空间
    
     *  由RGB三原色组成
     *  广泛用于BMP，TIFF，PPM等
     *  每个色度成分通常用8bit表示\[0,255\]

![201207290832374305.png][]

8. YUV色彩空间

*  YUV色彩空间：
    
     *  Y：亮度分量
     *  UV：两个色度分量
     *  YUV更好的反映HVS特点

9. RGB转化到YUV空间

亮度分量Y与三原色有如下关系：![201207290832389322.png][]

经过大量实验后ITU-R给出了，![201207290832381830.png][] ， ![20120729083238750.png][] ，![201207290832384895.png][]

![201207290832383815.png][]

主流的编解码标准的压缩对象都是YUV图像

10. **YUV图像分量采样**

*  YUV图像可以根据HVS的特点，对色度分量下采样，可以降低视频数据量。
 *  根据亮度和色度分量的采样比率，YUV图像通常有以下几种格式：

![20120729083238783.png][]

11. 通用 的YUV图像格式

*  根据YUV图像的亮度分辨率定义图像格式

![201207290832385484.png][]

12. 帧和场图像

*  一帧图像包括两场——顶场，底场

![20120729083238501.png][]

![201207290832398897.png][]

13. 逐行与隔行图像

*  逐行图像：一帧图像的两场在同一时间得到，*ttop*=*tbot。*
 *  隔行图像：一帧图像的两场在不同时间得到，* ttop≠tbot。*

![201207290832396422.png][]

14. 视频质量评价

*  有损视频压缩使编解码图像不同，需要一种手段来评价解码图像的质量。
 *  质量评价：
    
     *  客观质量评价
     *  主观质量评价
     *  基于视觉的视频质量客观评价
 *  客观质量评价：通过数学方法测量图像质量评价的方式。
 *  优点：
    
     *  可量化
     *  测量结果可重复
     *  测量简单
 *  缺点：
    
     *  不完全符合人的主观感知

15. 客观评价的方法

常用的客观评价方法：

![201207290832393075.png][]

16. 主观评价方法

*  主观质量评价：用人的主观感知直接测量的方式。
 *  优点：
    
     *  符合人的主观感知
 *  缺点：
    
     *  不容易量化
     *  受不确定因素影响，测量结果一般不可重复
     *  测量代价高

常用主观评价方法

![201207290832394503.png][]

![201207290832393108.png][]

17. **基于视觉的视频质量客观评价方法**

*  基于视觉的视频质量客观评价：将人的视觉特性用数学方法描述并用于视频质量评价的方式。
 *  结合了主观质量评价和客观质量评价两方面优点。
 *  常用方法：结构相似度（Structural SIMilarity，SSIM）方法。
 *  将HVS的特征用数学模型表达出来。
 *  未来重要的研究方向

第3章 信息论基础

1. 通信系统的组成

*  信源：产生消息
 *  信道：传输消息
 *  信宿：接收消息

![201207290832408124.png][]

2. 基本概念

*  通信中对信息的表达分为三个层次：信号，消息，信息。
    
     *  信号：是信息的物理层表达，可测量，可描述，可显示。如电信号，光信号。
     *  消息：是信息的载体，以文字，语言，图像等人类可以认知的形式表示。
     *  信息：不确定的内容。

3. 信息熵

信息的特点

![201207290832403141.png][]

信息的测量

自信息量

![20120729083240109.png][]

条件信息量

![201207290832403174.png][]

4. 信息熵

![201207290832408190.png][]

![201207290832409619.png][]

5. 条件熵和联合熵

![201207290832411047.png][]

6. 熵的性质

*  非负性：信源熵是非负值，即 H(X) >=0;
 *  扩展性：信源熵X有M个符号，如果其中一个符号出现的概率趋于零，信源熵就等于剩余M-1个符号的信源熵；
 *  极值性（最大信息熵）：对于具有M个符号的信源，只有在所有符号等概率出现的情况下，信源熵达到最大值，即![201207290832413556.png][]
 *  可加性：![201207290832419652.png][]
 *  熵不增：条件熵不大于信息熵 *H(X|Y) <= H(X)*；
 *  联合熵不大于各信息熵的和，即*H(XY) <= H(X) + H(Y)*。

7. 互信息量

![201207290832411080.png][]

8. 互信息

![201207290832415781.png][]

*  物理意义：H(X)是X所含的信息，H(X|Y)是已知Y的条件下X还能带来的信息量。那么两者之差就是由于知道Y使得X减少的信息量，也即由Y可以得到的关于X的信息量。

9. 各种熵的关系

![201207290832417210.png][]

11. 信源编码

*  信源编码：将消息符号转变成信道可传输的信息。
 *  两个基本问题：
    
     *  用尽可能少的信道传输符号来传递信源消息，提高传输效率；
     *  减少由于信道传输符号的减少导致的失真。

12. 离散信源统计特性

![201207290832412226.png][]

![201207290832423655.png][]

13. 离散信源类型：简单无记忆信源和马尔可夫信源

![20120729083242307.png][]

14. 编码分类

*  **等长码：**在一组码字集合*C*中的所有码字*cm* (*m* = 1,2, …,*M*)，其码长都相同，则称这组码*C*为等长码。
 *  **变长码：**若码字集合*C*中的所有码字*cm* (*m* = 1,2, …,*M*)，其码长不都相同，称码*C*为变长码。

15. 平均码长

![201207290832423688.png][]

16. 等长码与变长码比较

*  等长编码将信源输出符号序列的任意一种取值（概率可能不同）都编码成相同长度的输出码字，没有利用信源的统计特性；
 *  变长编码可以根据信源输出符号序列各种取值的概率大小不同，将他们编码成不同长度的输出码字，利用了信源的统计特性。因此又称其为熵编码。

17. Huffman编码

*  Huffman编码：典型的变长编码。
 *  步骤：
    
     *  将信源符号按概率从大到小的顺序排列，假定*p*(*x*1)≥ *p*(*x*2)… ≥ *p*(*x*n)
     *  给两个概率最小的信源符号*p*(*xn-*1)， *p*(*xn*)各分配一个码位"0"和"1"，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(*n*\-1)个信源符号的新信源。称为信源的第一次缩减信源，用*S*1表表示。
     *  将缩减信源*S*1的符号仍按概率从大到小的顺序排列，重复步骤2，得到只含(*n*\-2)个符号的缩减信源*S2*。
     *  重复上述步骤，直至缩减信源只剩下两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。

![20120729083242340.png][]

18. 信道编码

*  信道编码主要考虑如何增加信号的抗干扰能力，提高传输的可靠性，并且提高传输效率。
 *  一般是采用冗余编码法，赋予信码自身一定的纠错和检错能力，使信道传输的差错概率降到允许的范围之内。

19. 信道类型

*  根据信道连续与否分类
    
     *  离散信道
     *  连续信道
     *  半连续信道
 *  根据信道是否有干扰分类
    
     *  无干扰信道
     *  有干扰信道
 *  根据信道的统计特性分类
    
     *  无记忆信道
     *  有记忆信道
     *  恒参信道
     *  变参信道
     *  对称信道
     *  非对称信道

20. 信道容量

*  在信息论中，称信道无差错传输的最大信息速率为信道容量。
 *  仙农信道容量公式：
    
     *  假设连续信道的加性高斯白噪声功率为*N*，信道带宽为*B*，信号功率为*S*，则该信道的容量为![201207290832421212.png][]
     *  由于噪声功率*N*与信道带宽*B*有关，则噪声功率*N*=*n0B *。因此，仙农公式还可以表示为![201207290832423721.png][]

21. 香农信道容量公式的意义

*  在给定*B*和*S*/*N*的情况下，信道的极限传输能力为*C*，而且此时能够做到无差错传输。如果信道的实际传输速率大于*C *值，则无差错传输在理论上就已不可能。因此，实际传输速率一般不能大于信道容量*C *，除非允许存在一定的差错率。
 *  提高信噪比*S*/*N*（通过减小*n0*或增大*S*），可提高信道容量*C*。特别是，若*n0*\->0，则*C*\->∞ ，这意味着无干扰信道容量为无穷大；
 *  增加信道带宽*B*，也可增加信道容量*C*，但做不到无限制地增加。这是因为，如果* S*、*n0*一定，有![201207290832426229.png][]
 *  维持同样大小的信道容量，可以通过调整信道的*B*及*S*/*N*来达到，即信道容量可以通过系统带宽与信噪比的互换而保持不变。

22. 失真

*  失真：信源的消息经过编解码后不能完全复原
 *  在实际的信源和信道编码中，消息的传输并不总是无失真的。
    
     *  由于存储和传输资源的限制
     *  噪声等因素的干扰

23. 率失真理论

*  仙农定义了信息率失真函数R(D)
    
     *  D是消息失真
     *  R是码率
 *  率失真定理：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。

24. 失真函数

*  失真函数：信源符号*X*=\{ *x*1, *x*2, …..*xn*\}，经信道传输接收端符号*Y=*\{ *y*1, *y*2….*yn*\}，对于每一对(*xi*, *yj*)指定一个非负函数 *d*(*xi*,*yj*)，称*d*(*xi*, *yj*)为单个符号的失真度或失真函数。对于连续信源连续信道的情况，常用*d*(*x*, *y*)表示。
 *  常用失真函数：
    
    ![201207290832422325.png][]![201207290832424834.png][]
 *  平均失真度：
    
    ![201207290832437342.png][]

[http_www.cnblogs.com_xkfz007_archive_2012_08_12_2613690.html]: http://www.cnblogs.com/xkfz007/archive/2012/08/12/2613690.html
[201207290832359614.png]: /images/20220828/59720239b2894974ae41c9764073edcf.png
[201207290832356582.png]: /images/20220828/a132626cef744e80837853b588ca58d3.png
[201207290832366059.png]: /images/20220828/a077ad6200c2418eab8d4fc36009be0c.png
[201207290832364663.png]: /images/20220828/d7d25931c6af4fa39e7881722162a4e2.png
[201207290832363060.png]: /images/20220828/2e769625652b4c839708dead0e22af4c.png
[201207290832369713.png]: /images/20220828/30d73a729fe04608b56f743854f4619c.png
[201207290832361141.png]: /images/20220828/22c96c06a82b4da7aa018d5c5e1793c1.png
[201207290832378666.png]: /images/20220828/106ec5e0a9c14cc4b8f11d3a23b63d7a.png
[201207290832372811.png]: /images/20220828/6f711f62c13a4bd38672f8617bedea2e.png
[201207290832378699.png]: /images/20220828/b9fecb1941a9475f86231d3dca356fdf.png
[201207290832378176.png]: /images/20220828/b130169285c54308980d5f28c9b43c25.png
[201207290832373749.png]: /images/20220828/94c7a66d7b61451f9a31ecdf65dbd554.png
[201207290832374305.png]: /images/20220828/8881c3cf461d4205a782ca9c69270cbf.png
[201207290832389322.png]: /images/20220828/711f2bb530164ca6a20fa9495361603a.png
[201207290832381830.png]: http://images.cnblogs.com/cnblogs_com/xkfz007/201207/201207290832381830.png
[20120729083238750.png]: http://images.cnblogs.com/cnblogs_com/xkfz007/201207/20120729083238750.png
[201207290832384895.png]: /images/20220828/66bd43b942904b03984b9771b0d64f91.png
[201207290832383815.png]: /images/20220828/ec41a13448b940bba54722497553660e.png
[20120729083238783.png]: /images/20220828/2a67547072104a59a4c52368845775c6.png
[201207290832385484.png]: /images/20220828/813c6dc6a256439399aab3ecd64906ec.png
[20120729083238501.png]: /images/20220828/a5e29c98802940feb6de802188f5d22e.png
[201207290832398897.png]: /images/20220828/ca851e45763f41bb8fb876f056f8047a.png
[201207290832396422.png]: /images/20220828/432aff9c3b6e4c4aa0c2495b434a0a12.png
[201207290832393075.png]: /images/20220828/e854b23e5782482791712098882f04c9.png
[201207290832394503.png]: /images/20220828/9533303b174d468bbb7eb56d4604be03.png
[201207290832393108.png]: /images/20220828/1fc8b5110b5f4b9abcd05c2e10b69192.png
[201207290832408124.png]: /images/20220828/936a342ab4884de1979bde04824a14cd.png
[201207290832403141.png]: /images/20220828/edb6fb93632442ab940f07f1b997d142.png
[20120729083240109.png]: /images/20220828/3c02a87f38e64e8a84834f4ba104b48c.png
[201207290832403174.png]: /images/20220828/fdeb74fcf9db46568b90710edfed92eb.png
[201207290832408190.png]: /images/20220828/5a2a23aa42384cd69f81e78770e19979.png
[201207290832409619.png]: /images/20220828/70c40d0de7dc4d9fb3e27498a3c836e6.png
[201207290832411047.png]: /images/20220828/c5bae14ec5df4e0486d8c7fb052ec8fc.png
[201207290832413556.png]: /images/20220828/a2d28042c4f044c496ffcc61ab8d65cb.png
[201207290832419652.png]: /images/20220828/26caec8288b440f488ba8d892671754b.png
[201207290832411080.png]: /images/20220828/29b5c6e2d5d942ac8f1a2e7e312dac6b.png
[201207290832415781.png]: /images/20220828/1e30dcb41228459b81a0d9fe370dc57a.png
[201207290832417210.png]: /images/20220828/eb535aa8d7004c4197b6a8442a164ede.png
[201207290832412226.png]: /images/20220828/d59ef8baa4ff48dfbce23fa0ec337bbc.png
[201207290832423655.png]: /images/20220828/55364c131aee4c2ca12f993dd529dc06.png
[20120729083242307.png]: /images/20220828/efe629e3849742458b46e0d3d909e802.png
[201207290832423688.png]: /images/20220828/929785c00fc24058a5765672cb2786e5.png
[20120729083242340.png]: /images/20220828/f00bbd2321024ca8949b8fac9adeedae.png
[201207290832421212.png]: /images/20220828/c838250ad54e4704a1aa0117ce14c602.png
[201207290832423721.png]: /images/20220828/1eee412b437c434f8272cb9cfd4c6133.png
[201207290832426229.png]: /images/20220828/fc0d44c551c540f589a38d466e3daa9f.png
[201207290832422325.png]: http://images.cnblogs.com/cnblogs_com/xkfz007/201207/201207290832422325.png
[201207290832424834.png]: /images/20220828/2f6f9e5635744195a9a4a1ba7b9a941a.png
[201207290832437342.png]: /images/20220828/889487cf864d488fad544a4f65823934.png