试简介视频编码技术？——知乎大神神回答 深碍√TFBOYSˉ_ 2022-06-13 13:08 186阅读 0赞 https://www.zhihu.com/question/22567173 我需要宏观的关于视频编码的指导，最好是基于HEVC的编码器原理。如帧间预测编码过程，帧内预测编码过程，熵编码过程。细节可不详细，但求有宏观的流程概念，不胜感激！ 关注者 707 被浏览 14507 添加评论 分享 邀请回答 收起 关注问题 写回答 #### 5 个回答 #### 默认排序 [![韦易笑][e4f1b0d6aa782bb9b0dee1ea384fe556_xs.jpg]][e4f1b0d6aa782bb9b0dee1ea384fe556_xs.jpg 1] [韦易笑][e4f1b0d6aa782bb9b0dee1ea384fe556_xs.jpg 1] [游戏开发][Link 1]、 [编程][Link 2]、 [程序员][Link 3] 话题的优秀回答者 519 人赞同了该回答 要彻底理解视频编码原理，看书都是虚的，需要实际动手，实现一个简单的视频编码器： 知识准备：基本图像处理知识，信号的时域和频域问题，熟练掌握傅立叶正反变换，一维、二维傅立叶变换，以及其变种，dct变换，快速dct变换。 第一步：实现有损图像压缩和解压 参考 JPEG原理，将RGB->YUV，然后Y/U/V看成三张不同的图片，将其中一张图片分为 8x8的block进行 dct变换（可以直接进行二维dct变换，或者按一定顺序将8x8的二维数组整理成一个64字节的一维数组），还是得到一个8x8的整数频率数据。于是表示图像大轮廓的低频信号（人眼敏感的信号）集中在 8x8的左上角；表示图像细节的高频信号集中在右下角。 接着将其量化，所谓量化，就是信号采样的步长，8x8的整数频率数据块，每个数据都要除以对应位置的步长，左上角相对重要的低频信号步长是1，也就是说0-255，是多少就是多少。而右下角是不太重要的高频信号，比如步长取10，那么这些位置的数据都要/10，实际解码的时候再将他们\*10恢复出来，这样经过编码的时候/10和解码的时候\*10，那么步长为10的信号1, 13, 25, 37就会变成规矩的：0, 10, 20, 30, 对小于步长10的部分我们直接丢弃了，因为高频不太重要。 经过量化以后，8x8的数据块左上角的数据由于步长小，都是比较离散的，而靠近右下角的高频数据，都比较统一，或者是一串0，因此图像大量的细节被我们丢弃了，这时候，我们用无损压缩方式，比如lzma2算法（jpeg是rle + huffman）将这64个byte压缩起来，由于后面高频数据步长大，做了除法以后，这些值都比较小，而且比较靠近，甚至右下部分都是一串0，十分便于压缩。 JPEG图像有个问题就是低码率时 block边界比较严重，现代图片压缩技术往往要配合一些de-block算法，比如最简单的就是边界部分几个像素点和周围插值模糊一下。 做到这里我们实现了一个同 jpeg类似的静态图片有损压缩算法。在视频里面用来保存I帧数据。 第二步：实现宏块误差计算 视频由连续的若干图像帧组成，分为 I帧，P帧，所谓I帧，就是不依赖就可以独立解码的视频图像帧，而P帧则需要依赖前面已解码的视频帧，配合一定数据才能生成出来。所以视频中I帧往往都比较大，而P帧比较小，如果播放器一开始收到了P帧那么是无法播放的，只有收到下一个I帧才能开始播放。I帧多了视频就变大，I帧少了，数据量是小了，但视频受到丢包或者数据错误的影响却又会更严重。 那么所谓运动预测编码，其实就是P帧的生成过程：继续将图片分成 16x16的block（为了简单只讨论yuv的y分量压缩）。I帧内部单帧图片压缩我们采用了8x8的block，而这里用16x16的block来提高帧间编码压缩率（当然也会有更多细节损失），我们用 x, y表示像素点坐标，而s,t表示block坐标，那么坐标为（x,y）的像素点所属的block坐标为： s = x / 16 = x >> 4 t = y / 16 = y >> 4 接着要计算两个block的相似度，即矢量的距离，可以表示为一个256维矢量（16x16）像素点色彩距离的平方，我们先定义两个颜色的误差为： PixelDiff(c1, c2) = (c1- c2) ^ 2 那么256个点的误差可以表示为所有对应点的像素误差和： BlockDiff(b1, b2) = sum( PixelDiff(c1, c2) for c1 in b1 for c2 in b2) 代码化为： int block_diff(const unsigned char b1[16][16], const unsigned char b2[16][16]) { int sum = 0; for (int i = 0; i < 16; i++) { for (int j = 0; j < 16; j++) { int c1 = b1[i][j]; int c2 = b2[i][j]; sum += (c1 - c2) * (c1 - c2); } } return sum; } 有了这个block求差的函数，我们就可以针对特定block，搜索另外若干个block中哪个和它最相似了（误差最小）。 第三步：实现运动预测编码 根据上面的宏块比较函数，你已经可以知道两个block到底像不像了，越象的block，block\_diff返回值越低。那么我们有两帧相邻的图片，P1，P2，假设 P1已经完成编码了，现在要对 P2进行P帧编码，其实就是轮询 P2里面的每一个 block，为P2中每一个block找出上一帧中相似度最高的block坐标，并记录下来，具体伪代码可以表示为： unsigned char block[16][16]; for (int t = 0; t <= maxt; t++) { for (int s = 0; s <= maxs; s++) { picture_get_block(P2, s * 16, t * 16, block); // 取得图片 P2 的 block int x, y; block_search_nearest(P1, &x, &y, block); // 在P1中搜索最相似的block output(x, y); // 将P1中最相似的block的左上角像素坐标 (x, y) 输出 } } 其中在P1中搜索最相似 block的 block\_search\_nearest 函数原理是比较简单的，我们可以暴力点用两个for循环轮询 P1中每个像素点开始的16x16的block（速度较慢），当然实际中不可能这么暴力搜索，而是围绕P2中该block对应坐标在P1中位置作为中心，慢慢四周扩散，搜索一定步长，并得到一个：按照一定顺序进行搜索，并且在一定范围内最相似的宏块坐标。 于是P2进行运动预测编码的结果就是一大堆(x,y)的坐标，代表P2上每个block在上一帧P1里面最相似的 block的位置。反过来说可能更容易理解，我们可以把第三步整个过程定义为： 怎么用若干 P1里不同起始位置的block拼凑出图片P2来，使得拼凑以后的结果和P2最像。 拼凑的结果就是一系列(x,y)的坐标数据，我们继续用lzma2将它们先压缩起来，按照 vcd的分辨率352 x 240，我们横向需要 352 / 16 = 22个block，纵向需要 240 / 16 = 15 个block，可以用 P1中 22 x 15 = 330 个 block的坐标信息生成一张和P2很类似的图片 P2' ： for (int t = 0; t < 15; t++) { for (int s = 0; s < 22; s++, next++) { int x = block_positions[next].x; // 取得对应 P1上的 block像素位置 x int y = block_positions[next].y; // 取得对应 P1上的 block像素位置 y // 将 P1位置(x,y)开始的 16 x 16 的图块拷贝到 P2'的 (s * 16, t * 16)处 CopyRect(P2', s * 16, t * 16, P1, x, y, 16, 16); } } 我们把用来生成P2的P1称为 P2的 “参考帧”，再把刚才那一堆P1内用来拼成P2的 block坐标称为 “运动矢量”，这是P帧里面最主要的数据内容。但是此时由P1和这些坐标数据拼凑出来的P2，你会发现粗看和P2很象，但细看会发现有些支离破碎，并且边缘比较明显，怎么办呢？我们需要第四步。 第四步：实现P帧编码 有了刚才的运动预测矢量（一堆block的坐标），我们先用P1按照这些数据拼凑出一张类似 P2的新图片叫做P2'，然后同P2上每个像素做减法，得到一张保存 differ的图片： D2 = (P2 - P2') / 2 误差图片 D2上每一个点等于 P2上对应位置的点的颜色减去 P2'上对应位置的点的颜色再除以2，用8位表示差值，值是循环的，比如-2就是255，这里一般可以在结果上 + 0x80，即 128代表0，129代表2，127代表-2。继续用一个 8位的整数可以表示 \[-254, 254\] 之间的误差范围，步长精度是2。 按照第三步实现的逻辑，P2'其实已经很像P2了，只是有些误差，我们将这些误差保存成了图片D2，所以图片D2中，信息量其实已经很小了，都是些细节修善，比起直接保存一张完整图片熵要低很多的。所以我们将 D2用类似第一步提到的有损图片压缩方法进行编码，得到最终的P帧数据： Encode(P2) = Lzma2(block_positions) + 有损图像编码（D2） 具体在操作的时候，D2的图像块可以用16x16进行有损编码，因为前面的运动预测数据是按16x16的宏块搜索的，而不用象I帧那样精确的用8x8表示，同时保存误差图时，量化的精度可以更粗一些用不着象I帧那么精确，可以理解成用质量更低的JPEG编码，按照16x16的块进行编码，加上误差图D2本来信息量就不高，这样的保存方式能够节省不少空间。 第五步：实现GOP生成 通过前面的代码，我们实现了I帧编码和P帧编码，P帧是参考P1对P2进行编码，而所谓B帧，就是参考 P1和 P3对P2进行编码，当然间隔不一定是1，比如可以是参考P1和P5对P2进行编码，前提条件是P5可以依赖P1及以前的数据进行解码。 不过对于一个完整的简版视频编码器，I帧和P帧编码已经够了，市面上任然有很多面向低延迟的商用编码器是直接干掉B帧的，因为做实时传输时收到B帧没法播放，之后再往后好几帧收到下一个I或者P帧时，先前收到的B帧才能被解码出来，造成不少的延迟。 而所谓的 GOP (Group of picture) 就是由一系列类似 I, P, B, B, P, B, B, P, B, B P 组成的一个可以完整被解码出来的图像组，而所谓视频文件，就是一个接一个的GOP，每个GOP由一个I帧开头，然后接下来一组连续的P 或者 B构成，播放时只有完整收到下一个GOP的I帧才能开始播放。 最后是关于参考帧选择，前面提到的 P2生成过程是参考了 P1，假设一个GOP中十张图片，是 I1, P1, P2, P3, P4, ... P9 保存的，如果P1参考I1，P2参考P1, P3参考P2 .... P9参考P8这样每一个P帧都是参考上一帧进行编码的话，误差容易越来越大，因为P1已经引入一定误差了，P2在P1的基础上误差更大，到了P9的话，图片质量可能已经没法看了。 因此正确的参考帧选择往往不需要这样死板，比如可以P1-P9全部参考I1来生成，或者，P1-P4参考I1来生成，而P5-P9则参考P5来生成，这样步子小点，误差也不算太离谱。 第六步：容器组装 我们生成了一组组编码过的GOP了，这时候需要一定的文件格式将他们恰当的保存下来，记录视频信息，比如分辨率，帧率，时间索引等，就是一个类似MP4（h.264的容器）文件的东西。至此一个简单的小型编码器我们已经完成了，可以用 SDL / DirectX / OpenGL 配合实现一个播放器，愉快的将自己编码器编码的视频播放出来。 第七步：优化改进 这时候你已经大概学习并掌握了视频编码的基础原理了，接下来大量的优化改进的坑等着你去填呢。优化有两大方向，编码效率优化和编码性能优化：前者追求同质量（同信噪比）下更低的码率，后者追求同样质量和码率的情况下，更快的编码速度。 有这个基础后接下来可以回过头去看JPEG标准，MPEG1-2标准，并阅读相关实现代码，你会发现简单很多了，接着肯H.264代码，不用全部看可以针对性的了解以下H.264的I帧编码和各种搜索预测方法，有H.264的底子，你了解 HEVC和 vpx就比较容易了。 参考这些编码器一些有意思的实现来改进自己的编码器，试验性质，可以侧重原理，各种优化技巧了解下即可，本来就是hack性质的。 有卯用呢？首先肯定很好玩，其次，当你有需要使用并修改这些编码器为他们增加新特性的时候，你会发现前面的知识很管用了。 \------ 有朋友说光有代码没有图片演示看不大明白，好我们补充一下图片演示： 这是第一帧画面：P1（我们的参考帧） ![fba6f7873d44954d2259d82625cbf5e9_b.png][] 这是第二帧画面：P2（需要编码的帧） ![5f5108d5bc2fda516fa7368caf0e2b85_b.png][] 从视频中截取的两张间隔1-2秒的画面，和实际情况类似，下面我们进行几次运动搜索： 搜索演示1：搜索P2中车辆的车牌在P1中最接近的位置（上图P1，下图P2） ![2d671eeac50e665ca34066715da1b926_b.jpg][] 这是一个演示程序，鼠标选中P2上任意16x16的Block，即可搜索出P1上的 BestMatch 宏块。虽然车辆在运动，从远到近，但是依然找到了最接近的宏块坐标。 搜索演示2：空中电线交叉位置（上图P1，下图P2） ![6bd5c71bcf7bb7bac58e9ec73d6d9359_b.jpg][] 搜索演示3：报刊停的广告海报 ![92baad3a94bd94b34908c3d1aec9a0c3_b.jpg][] 同样顺利在P1中找到最接近P2里海报的宏块位置。 图片全搜索：根据P1和运动矢量数据（在P2中搜索到每一个宏块在P1中最相似的位置集合）还原出来的P2'，即完全用P1各个位置的宏块拼凑出来最像P2的图片P2'，效果如下： ![3228b2f83f2c9396b8c4ba4b6af0739a_b.png][]仔细观察，有些支离破碎对吧？肯定啊，拼凑出来的东西就是这样，现在我们用P2\`和P2像素相减，得到差分图 D2 = (P2' - P2) / 2 + 0x80： ![9a08b5dae6c53d11076027c5f3e47391_b.png][] 嗯，这就是P2\`和P2两幅图片的不同处，看到没？基本只有低频了！高频数据少到我们可以忽略，这时用有损压缩方式比较差的效果来保存误差图D2，只要5KB的大小。 接着我们根据运动矢量还原的 P2'及差分图D2来还原新的 P2，NewP2 = P2' + (D2 - 0x80) \* 2： ![2d2f1026f8fe2f6242c7a952d1ac1ec8_b.png][] 这就是之前支离破碎的 P2\` 加上误差 D2之后变成了清晰可见的样子，基本还原了原图P2。 由于D2仅仅占5KB，加上压缩过后的运动矢量不过7KB，所以参考P1我们只需要额外 7KB的数据量就可以完整表示P2了，而如果独立将P2用质量尚可的有损压缩方式独立压缩，则至少要去到50-60KB，这一下节省了差不多8倍的空间，正就是所谓运动编码的基本原理。 实际在使用中，参考帧并不一定是前面一帧，也不一定是同一个GOP的I帧，因为GOP间隔较长时，后面的图片离I帧变化可能已经很大了，因此常见做法是最近15帧中选择一帧误差最小的作为参考帧，虽然彩色画面有YUV三个分量，但是大量的预测工作和最有选择通常是根据Y分量的灰度帧进行判断的。 再者误差我们保存的是（P2-P2’）/2 + 0x80，实际使用时我们会用更有效率的方式，比如让\[-64,64\]之间的色差精度为1，\[-255,-64\], \[64, 255\] 之间的色差精度为2-3，这样会更加真实一些。 同时上文很多地方用的是直接lzma2进行简单存储，实际使用时一般会引入熵编码，对数据进行一定层次的整理然后再压缩，性能会好不少。 现代视频编码中，除了帧间预测，I帧还使用了大量帧内预测，而不是完全dct量化后编码，前面帧间预测我们使用了参考帧的宏块移动拼凑新帧的方式进行，而所谓帧内预测就是同一幅画面中，未编码部分使用已编码部分拼凑而成。。。。。。。 这些说来话就长了，不过此时相信各位理解起 MPEG2 来会发现并不是什么太深奥的东西，MPEG2的各项规范熟悉了，H264也就好说了，读资料的同时自己做一下试验参照理论，应该能轻松很多。 \--- [编辑于 2015-12-25][2015-12-25] 51951 条评论 分享 收藏 感谢收起 [![泽布隆][v2-57588d4e954afceb2c67a55a3d57a051_xs.jpg]][v2-57588d4e954afceb2c67a55a3d57a051_xs.jpg 1] [泽布隆][v2-57588d4e954afceb2c67a55a3d57a051_xs.jpg 1] 别动！让我举个栗子… 12 人赞同了该回答 视音频编码的意义就是用尽可能小的带宽传送高质量的视音频数据。 从mpeg-1到mpeg-2，H.263到H.264到你提到的HEVC即H.265，标准的新提出也是为了让码流更优化、压缩效率更高、稳定性更强。 视频编码的大致过程就是将基本码流通过帧内预测编码、帧间预测编码、整数变换、量化、熵编码等步骤获取更加优化、刚干扰能力强的码流。 另外，各类编码标准不仅负责进行视频编码，还会对音频进行编码，最后将视频码流和音频码流进行时分复用。 你所问的三种编码的方式，大体来说如下。 帧内预测编码不直接对图像块进行处理，而是根据邻近块的值来预测当前宏块的值，再对预测值与原始值的差值进行变换、量化、编码，从而减少传输相同信息所需带宽。 帧间预测编码即为基于块的运动估计和运动补偿，用相邻帧的块值预测当前帧的块值，再对预测值与原始值的差值进行变换、量化、编码，从而减少传输相同信息所需带宽。 熵编码在视音频编码中的作用与其他领域当中相同，将经过前面步骤得到的码流进行进一步的编码，如霍夫曼编码，将平均码长降低，获得更高的传输效率。 不同的编码标准在以上三步编码当中具体的标准都不同，随着技术的进步、算法复杂度的增加，都在使视音频码流一步一步更加优化，如帧内和帧间编码中使用的宏块的大小和形状类型越来越多，针对不同的视频信号能够进行更有效率的处理。 [发布于 2014-01-23][2014-01-23] 12添加评论 分享 收藏 感谢 [![finishedfish][]][finishedfish 1] [finishedfish][finishedfish 1] 小硕一枚 2 人赞同了该回答 如果要了解宏观的概念，就去看下HEVC的overview，顺带看下H.264的overview。论文的解释会比较全面，清楚。如果楼主不愿意看英文的话，网上搜下，应该会有很多blog的介绍 [发布于 2014-05-07][2014-05-07] 21 条评论 分享 收藏 感谢 [![大侠饶命][3214b5f3c0ec2c415f61a9773c304b33_xs.jpg]][3214b5f3c0ec2c415f61a9773c304b33_xs.jpg 1] [大侠饶命][3214b5f3c0ec2c415f61a9773c304b33_xs.jpg 1] 宏观的流程的话，其实还是比较好理解的，网上资料也多，可以下载一些论文看看，还有网上的一些博客也不错，这些对于宏观的了解基本够了 [发布于 2017-05-10][2017-05-10] 0添加评论 分享 收藏 感谢 [![王二小][da8e974dc_xs.jpg]][da8e974dc_xs.jpg 1] [王二小][da8e974dc_xs.jpg 1] 可以从JPEG编码，H261编码的源代码读起，这两个编码简单，通过它们基本可以理解编解码过程。H264来说，开始看标准，会觉得复杂，现在看看，主要是编码数据加上编码的逻辑判断。 [e4f1b0d6aa782bb9b0dee1ea384fe556_xs.jpg]: https://pic3.zhimg.com/e4f1b0d6aa782bb9b0dee1ea384fe556_xs.jpg [e4f1b0d6aa782bb9b0dee1ea384fe556_xs.jpg 1]: /images/20220613/d6487a827e06490b8d691254143f0b34.png [Link 1]: /images/20220613/d6487a827e06490b8d691254143f0b34.png/answers/topic/19553361 [Link 2]: /images/20220613/d6487a827e06490b8d691254143f0b34.png/answers/topic/19554298 [Link 3]: /images/20220613/d6487a827e06490b8d691254143f0b34.png/answers/topic/19552330 [fba6f7873d44954d2259d82625cbf5e9_b.png]: /images/20220613/ce55ce7abe2d457797ff411522d56e07.png [5f5108d5bc2fda516fa7368caf0e2b85_b.png]: /images/20220613/469b92762434416c82896764a8a967dd.png [2d671eeac50e665ca34066715da1b926_b.jpg]: /images/20220613/29cf43dca5764d26bcc5ada5f624c746.png [6bd5c71bcf7bb7bac58e9ec73d6d9359_b.jpg]: /images/20220613/8e376fec7aac4f70ba23c81e66e1bddd.png [92baad3a94bd94b34908c3d1aec9a0c3_b.jpg]: /images/20220613/5ebd0803806248febbea42be3a9bd063.png [3228b2f83f2c9396b8c4ba4b6af0739a_b.png]: /images/20220613/441d1f06633a466ca45174529da759cc.png [9a08b5dae6c53d11076027c5f3e47391_b.png]: /images/20220613/b2a51dcfa0c84a2b8bb76f86c0c48138.png [2d2f1026f8fe2f6242c7a952d1ac1ec8_b.png]: /images/20220613/1b0681d223854352a77ea1e4d59812ae.png [2015-12-25]: https://www.zhihu.com/question/22567173/answer/73610451 [v2-57588d4e954afceb2c67a55a3d57a051_xs.jpg]: https://pic2.zhimg.com/v2-57588d4e954afceb2c67a55a3d57a051_xs.jpg [v2-57588d4e954afceb2c67a55a3d57a051_xs.jpg 1]: /images/20220613/9858e279431c439b8fa4d0b78cdd67ee.png [2014-01-23]: https://www.zhihu.com/question/22567173/answer/21882826 [finishedfish]: /images/20220613/b88c32b2879e4fdeb2764af0d5b680f8.png [finishedfish 1]: https://www.zhihu.com/people/leic [2014-05-07]: https://www.zhihu.com/question/22567173/answer/25325422 [3214b5f3c0ec2c415f61a9773c304b33_xs.jpg]: https://pic4.zhimg.com/3214b5f3c0ec2c415f61a9773c304b33_xs.jpg [3214b5f3c0ec2c415f61a9773c304b33_xs.jpg 1]: /images/20220613/f203cd949958494696b0f930a3132d89.png [2017-05-10]: https://www.zhihu.com/question/22567173/answer/167552263 [da8e974dc_xs.jpg]: https://pic1.zhimg.com/da8e974dc_xs.jpg [da8e974dc_xs.jpg 1]: /images/20220613/f35984ba92e64da486742290a17a6300.png
还没有评论，来说两句吧...