音视频基础知识

￡神魔★判官ぃ 2023-10-18 09:26 92阅读 0赞

### 音视频基础知识 ###

录像、录音，实质是一个压缩采集的图像或视频数据的过程(**编码**)，就会有各种各样的格式。  
播放视频或音频文件，实质上是一个解压缩的过程(**解码**)

#### 播放一个视频文件的流程 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_16_color_FFFFFF_t_70]

1.  视频文件后缀名是FLV，MKV，MP4等 ，都是封装格式的数据
2.  然后解封装
3.  接着获取 音频压缩数据 和 视频压缩数据
4.  音频压缩数据 解码 获得 音频采样数据(**PCM**)，视频压缩数据 解码 获得 视频像素数据(**YUV**)

#### 采样率 ####

采样率:44100  
44100是人最大支持的采样率，再大没有什么意义

#### 查看视频信息 ####

MediaInfo软件

#### 视频封装格式 ####

##### 作用 #####

视频码流和音频流按照一定的格式存储在一个文件中  
![在这里插入图片描述][20200325072239470.png]  
![在这里插入图片描述][70]

##### MPEG2-TS格式简介 #####

不包含文件头。数据大小固定(188Byte)的Ts Packet构成  
![在这里插入图片描述][70 1]

##### FLV格式简介 #####

包含头文件。数据由大小不固定的Tag构成  
![在这里插入图片描述][70 2]

#### 视频编码数据 ####

将视频像素数据(RGB，YUV等)压缩成为视频码流，从而降低视频的数据量。

![在这里插入图片描述][70 3]

##### H.264 格式简介 #####

数据由大小不固定的NALU构成  
最常见的情况下，1个NALU存储了一帧画面的压缩编码后的数据  
可以将视频数据压缩100倍以上

![在这里插入图片描述][70 4]

#### 音频编码数据 ####

将音频采样率数据(PCM等)压缩成为音频码流，从而降低音频的数据量。  
![在这里插入图片描述][70 5]

##### AAC格式简介 #####

数据由大小不固定的ADTS构成  
可以将音频数据压缩10倍以上  
![在这里插入图片描述][70 6]

#### 视频像素数据 ####

保存了屏幕中每个像素点的像素值

##### 特点 #####

视频像素体积很大

Y是U和V的4倍

##### YUV格式介绍 #####

*  相关实验表明,人眼对亮度敏感而对色度不敏感。因而可以将亮度信息和色度信息分离,并对色度信息采用更“狠”一点的压缩方案从而提高压缩效率。
 *  YUV格式中, Y只包含亮度信息,而UV只包含色度信息。以YUV420P为例,图像像素数据的存储方式如图所示。
 *  从图中可以看出, YUV420P首先存储了整张图像的Y信息，然后存储整张图像的U信息,最后存储了整张图像的V信息。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_16_color_FFFFFF_t_70 1]

##### RGB格式介绍 #####

*  Red, Green, Blue三种颜色,可以混合成世界上所有的颜色。([三原色][Link 1])
 *  彩色图像中每个点,由R,G、B三个分量组成。  
    以RGB24为例,图像像素数据的存储方式如下:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_16_color_FFFFFF_t_70 2]  
    从图中可以看出, RGB24依次存储了每个像素点的R、G、B信息。

> BMP文件中存储的就是RGB格式的像素数据。

#### 音频采样数据 ####

保存了音频中每个采样点的值

##### 特点 #####

音频采样数据体积很大

##### PCM格式简介 #####

*  单声道的情况下按照顺序存储每个采样点的数据。
 *  双声道的情况下按照“左右、左右”的顺序存储每个采样点两个声道的数据。  
    ![在这里插入图片描述][20200325072828414.png]

#### 其他 ####

[H264码流格式][H264]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200325071919278.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=,size_16,color_FFFFFF,t_70
[20200325072239470.png]: https://img-blog.csdnimg.cn/20200325072239470.png
[70]: https://img-blog.csdn.net/20180930213007345?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: https://img-blog.csdn.net/20180930212306421?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 2]: https://img-blog.csdn.net/20180930212402818?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 3]: https://img-blog.csdn.net/20180930212436665?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 4]: https://img-blog.csdn.net/20180930212503205?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 5]: https://img-blog.csdn.net/20180930212549364?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 6]: https://img-blog.csdn.net/20180930212620538?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200325072450124.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=,size_16,color_FFFFFF,t_70
[Link 1]: https://baike.baidu.com/item/%E4%B8%89%E5%8E%9F%E8%89%B2/764849?fr=aladdin
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200325072559391.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0V0aGFuQ28=,size_16,color_FFFFFF,t_70
[20200325072828414.png]: https://img-blog.csdnimg.cn/20200325072828414.png
[H264]: https://winddoing.github.io/post/35564.html