音视频基础 - YUV和RGB

﹏ヽ暗。殇╰゛Y 2023-10-13 10:57 13阅读 0赞

### 1. 音视频名词概念 ###

#### 1.1 像素 ####

像素是一张图片的基础单位，`pixel`，简称`px`  
无数个像素组合在一起，就形成了一张图片。

![在这里插入图片描述][df07ed354a5748cfb3898514af59422b.png]

#### 1.2 分辨率 ####

`分辨率 = 垂直像素*水平像素`，(理论上) 图像的分辨率越高，图像就越清晰。  
比如下面左边这张图，胶乳一个方块就代表一个像素点，那么分辨率就是`15px*16px`，最终我们看到的就是很小的一张图片。

![在这里插入图片描述][8f016f29976f4ea89295c020e889742e.png]

> 实际上分辨率高不一定图像就越清晰，因为可能图片本身就是模糊的

#### 1.3 位深 ####

我们看到的彩色图片，都有三个通道，分别为红®、绿(G)、蓝(B)通道。  
(如果需要透明度则还有`alpha`分量)

通常每个通道用`8bit`表示，`8bit`能表示`256`种颜色，所以可以组成`256*256*256=16777216=1677`万种颜色

这里的`8bit`就是我们讲的位深。

![在这里插入图片描述][510daefd27df4ba19bb1f24c17a51854.png]

每个通道的位深越大，能够表示的颜色值就越大。比如现在高端电视说的`10bit`色彩，即是每个通道用`10bit`表示，每个通道有`1024`种颜色。`1024*1024*1024`约为`107374`万色，是`8bit`的`64`倍。

> 常见的颜色还是`8bit`居多

#### 1.4 帧率 ####

帧率即`FPS`，每秒有多少帧画面。 帧率越高就代表画面越流程，越低则越卡顿。

由于视觉图像在视网膜的暂时停留，图像帧率能达到24帧，我们就认为图像是连续动态的。

*  电视帧率一般是`24FPS`
 *  电视剧一般是`25FPS`
 *  监控行业常用`25FPS`
 *  音视频通话常用`15FPS`

帧率越高，画面越流程，需要的设备性能也越高 (涉及到编码解码)。

#### 1.5 码率 ####

*  视频文件在单位时间使用的数据流量，比如`1Mbps`
 *  大多数情况下码率越高，也就越清晰。但模糊的视频文件大小(码率)也可以很大，分辨率小的视频文件可能也不分辨率打的视频文件清晰。
 *  对于同一个原始图像源的时候，同样的编码算法，则码率越高，图像的失真就会越小，视频画面就会越清晰。

### 2. RGB、YUV的区别 ###

*  `RGB` : 红色`R`、绿色`G`、蓝色`B`三基色
 *  `YUV` : `Y`表示明亮度(`Luminance或Luma`)，也就是灰阶值，`U和V`表示的则是色度(`Chrominance或Chroma`)

#### 2.1 RGB ####

通常的图像像素是按RGB顺序进行排列，但有些图像处理要转成其他顺序，比如`OpenCV`经常转成`BGR`的排列方式。

![在这里插入图片描述][e3912da28aa64ba185096eff9d17dccc.png]

#### 2.2 YUV ####

和`RGB`类似，`YUV`也是一种颜色编码方法，它是指将亮度参数`Y(Luma)`和色度参数`U和V (Chroma)`分开进行表示的像素编码格式。

这样分开的好处就是不但可以避免互相干扰，没有`UV`信息一样可以显示完整的图像，因而解决了彩色电视和黑白电视的兼容问题，还可以**降低色彩的采样率而不会对图像质量影响太大**，降低了视频信号传输时对宽频(带宽)的要求

*  降低色彩的采样率而不会对图像质量影响太大 : `YY`共用一组`UV`分量 (根据`YUV`类型决定)

![在这里插入图片描述][ae301efc02f04dd1bd4726af37b4794d.png]  
`YUV`是一个比较笼统地说法，针对它的具体排列方式，可以分为很多种

*  打包(`packed`)格式 : 将每个像素点的`Y、U、V`分量交叉排列并以像素点为单位连续的存放在同一数组里，通常几个相邻的像素组成一个宏像素 (`macro-pixel`)
 *  平面(`planar`)格式 : 使用三个数组分开连续的存放`Y、U、V`三个分量，即`Y、U、V`分别存放在各自的数组中

![在这里插入图片描述][dd88a7a4ad58462abc35479d6b09b6aa.png]

### 3. YUV采样表示法 ###

`YUV`采用`A:B:C`表示来描述`Y、U、V`采样频率比例

下图中黑点表示采样像素点`Y分`量，空心圆表示采样像素点`UV`分量。

![在这里插入图片描述][beabcdf8824646a5a4d09f852b40a289.png]

*  `4:4:4` 表示色度频道没有下采样 : 即一个Y分量对应着一个U分量和一个V分量
 *  `4:2:2` 表示2:1的水平下采样，没有垂直下采样，即每两个Y分量共用一个U分量和一个V分量
 *  `4:2:0` 表示2:1的水平下采样，2:1的垂直下采样，即每四个Y分量共用一个U分量和一个V分量

### 4. YUV数据存储 ###

##### 4.1 YUV数据存储 4:4:4格式 #####

比如`YUV444`格式，对应`FFmpeg`像素表示`AV_PIX_FMT_YUV444P`，占`24bit`

![在这里插入图片描述][a9f36c4e5bfd439b81335796ef6bbc2b.png]

##### 4.2 YUV数据存储 4:2:2格式 #####

比如`YUV422P`格式，对应`FFmpeg`像素表示`AV_PIX_FMT_YUV422P`，占`16bit`  
![在这里插入图片描述][6e20dd4484174785afa46e3069c14a86.png]

##### 4.3 YUV数据存储 4:2:0格式 #####

最常用的一种格式，比如`YUV420P`格式，对应`FFmpeg`像素表示`AV_PIX_FMT_YUV420P`，占`12bit`

![在这里插入图片描述][ebf9a4c25d4246dda730f404174aee55.png]

比如`NV12`格式，对应`FFmpeg`像素表示`AV_PIX_FMT_NV12`

![在这里插入图片描述][376f207d11674fea9647c3a602381f31.png]

`4:2:0`格式参考  
![在这里插入图片描述][fd2a70c5767048899fc006dcfd9c36b7.png]

> I420也叫做YU12，在android平台下叫作I420格式  
> android手机从摄像头采集的预览数据一般都是NV21

### 5. RGB和YUV的转换 ###

*  通常情况下`RGB`和`YUV`直接的相互转换都是调用接口实现，比如`FFmpeg`的`swscale`或者`libyuv`等库
 *  主要转换标准是`BT601`和`BT709`
    
     *  `8bit`位深情况下
        
         *  `TV range`是`16-235(Y)`、`16-240(UV)`，也叫`Limited Range`
         *  `PC range`是`0-255`，也叫`Full Range`
         *  而`RGB`没有`range`之分，全是`2-255`

`BT601 TV Range`转换公式

![在这里插入图片描述][eb9b246b8d5947a3b39fddc0fe47f5dd.png]

> 从YUV转到RGB如果值小于0要取0，如果大于255要取255

#### 5.1 为什么解码出错显示绿屏 ####

因为`RGB`和`YUV`的转换的时候，解码失败时`YUV`分量都填为`0`值，然后根据公式 :

R = 1.402 * (-128) = -126.598
    G = -0.34414 * (-128) - 0.71414*(-128) = 135.45984
    B = 1772 * (-128) = -126.228

`RGB`值范围为`[0,255]`，所以最终的值为 :

R = 0
    G = 135.45984
    B = 0

此时只有`G`分量有值所以为绿色

### 6. YUV Stride对齐问题 ###

比如分辨率`638*480`的`YUV420P`图像  
我们已经知道`YUV420P`的存储格式是如下图所示的  
![在这里插入图片描述][ebf9a4c25d4246dda730f404174aee55.png]  
我们在内存处理的时候如果要以`16`字节对齐，所以所有的`Y`的数量要能被16整除，  
则`638`不能被`16`整除，我们需要在每行尾部填充`2`个字节动画就是`640`，此时该图片的`Y stride`为`640`字节。  
![在这里插入图片描述][fe4b4b260bbd4f00b57dd8db223f1d0a.png]

### 7. 其他 ###

本文为看以下视频的学习笔记  
[音视频开发零基础系列-图像篇YUV-RGB-上|YUV的格式YUV的采样方式YUV的存储方式RGB 到 YUV的转换][-_YUV-RGB-_YUV_YUV_YUV_RGB _ YUV]  
[音视频开发零基础系列-图像篇YUV-RGB-下|YUV的格式YUV的采样方式YUV的存储方式RGB 到 YUV的转换][-_YUV-RGB-_YUV_YUV_YUV_RGB _ YUV 1]

[df07ed354a5748cfb3898514af59422b.png]: https://img-blog.csdnimg.cn/df07ed354a5748cfb3898514af59422b.png
[8f016f29976f4ea89295c020e889742e.png]: https://img-blog.csdnimg.cn/8f016f29976f4ea89295c020e889742e.png
[510daefd27df4ba19bb1f24c17a51854.png]: https://img-blog.csdnimg.cn/510daefd27df4ba19bb1f24c17a51854.png
[e3912da28aa64ba185096eff9d17dccc.png]: https://img-blog.csdnimg.cn/e3912da28aa64ba185096eff9d17dccc.png
[ae301efc02f04dd1bd4726af37b4794d.png]: https://img-blog.csdnimg.cn/ae301efc02f04dd1bd4726af37b4794d.png
[dd88a7a4ad58462abc35479d6b09b6aa.png]: https://img-blog.csdnimg.cn/dd88a7a4ad58462abc35479d6b09b6aa.png
[beabcdf8824646a5a4d09f852b40a289.png]: https://img-blog.csdnimg.cn/beabcdf8824646a5a4d09f852b40a289.png
[a9f36c4e5bfd439b81335796ef6bbc2b.png]: https://img-blog.csdnimg.cn/a9f36c4e5bfd439b81335796ef6bbc2b.png
[6e20dd4484174785afa46e3069c14a86.png]: https://img-blog.csdnimg.cn/6e20dd4484174785afa46e3069c14a86.png
[ebf9a4c25d4246dda730f404174aee55.png]: https://img-blog.csdnimg.cn/ebf9a4c25d4246dda730f404174aee55.png
[376f207d11674fea9647c3a602381f31.png]: https://img-blog.csdnimg.cn/376f207d11674fea9647c3a602381f31.png
[fd2a70c5767048899fc006dcfd9c36b7.png]: https://img-blog.csdnimg.cn/fd2a70c5767048899fc006dcfd9c36b7.png
[eb9b246b8d5947a3b39fddc0fe47f5dd.png]: https://img-blog.csdnimg.cn/eb9b246b8d5947a3b39fddc0fe47f5dd.png
[fe4b4b260bbd4f00b57dd8db223f1d0a.png]: https://img-blog.csdnimg.cn/fe4b4b260bbd4f00b57dd8db223f1d0a.png
[-_YUV-RGB-_YUV_YUV_YUV_RGB _ YUV]: https://www.bilibili.com/video/BV1NY411h7fY/?spm_id_from=autoNext&vd_source=40a8bb4109f80806e9ca498af677941d
[-_YUV-RGB-_YUV_YUV_YUV_RGB _ YUV 1]: https://www.bilibili.com/video/BV1Mr4y1v74x/?spm_id_from=trigger_reload&vd_source=40a8bb4109f80806e9ca498af677941d