直播相关知识之一-基本架构

「爱情、让人受尽委屈。」 2022-07-11 06:00 269阅读 0赞

# 直播相关知识之一 基本架构 #

## 一. 引子-直播基本架构 ##

> 下面是服务器的整体架构图：  
> ![Center][]  
>   
>   
> 上面上整体流程 相信一个开发者应该可以看的懂并理解吧！   
> 主要分为四部分东西吧：   
> 推流端SDK 负责 采集视频音频进行编码传输到服务端（某云），   
> 服务端SDK负责 直播流的创建,分发到各个cdn节点，加快流的解析，以及各种流的管理统计等等   
> 拉流端SDK负责 拉取流 进行解码解析 进行播放   
> 本业务端负责 相关业务操作 比如授权地址 查询直播列表 等等

### 直播名词解释 ###

> #### 1.推流 ####
> 
> 将直播内容推送至服务器的过程。
> 
> #### 2.拉流 ####
> 
> 服务器已有直播内容，用指定地址进行拉取的过程。
> 
> #### 3.RTMP协议 ####
> 
> Real Time Messaging Protocol（实时消息传输协议）的首字母缩写。该协议基于TCP，是一个协议族，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。
> 
> #### 4.编码： ####
> 
> H.264编码 是 高性能的视频编码技术，最大的优势是具有很高的数据压缩比率，能以较低的数据速率传送基于联网协议（IP）的视频流. 
> 
> #### 5.码率：  ####
> 
> 码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒。 
> 
> #### 6.FPS：  ####
> 
> 帧率（Frame rate）是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数(Frames per Second，简称：FPS）或“赫兹”（Hz）

## 二. 直播的技术架构： ##

> ### 1.流程  ###
> 
> 直播视频采集SDK（PC/IOS/Anddroid）——直播CDN
> 
> （直播流分发加速）——直播视频播放器SDK（PC/IOS/Android）  
> ![Center 1][]  
> 
> 
> ### 2、音视频处理的一般流程： ###
> 
> 数据采集→数据编码→数据传输(流媒体服务器) →解码数据→播放显示  
> 
> 
> #### 1、数据采集： ####
> 
> 摄像机及拾音器收集视频及音频数据，此时得到的为原始数据  
> 涉及技术或协议：  
> 摄像机：CCD、CMOS  
> 拾音器：声电转换装置（咪头）、音频放大电路  
> 
> 
> #### 2、数据编码： ####
> 
> 使用相关硬件或软件对音视频原始数据进行编码处理（数字化）及加工（如音视频混合、打包封装等），得到可用的音视频数据  
> 涉及技术或协议：  
> 编码方式：CBR、VBR  
> 编码格式  
> 视频：H.265、H.264、MPEG-4等，封装容器有TS、MKV、AVI、MP4等  
> 音频：G.711μ、AAC、Opus等，封装有MP3、OGG、AAC等  
> 
> 
> #### 3、数据传输： ####
> 
> 将编码完成后的音视频数据进行传输，早期的音视频通过同轴电缆之类的线缆进行传输，IP网络发展后，使用IP网络优传输  
> 涉及技术或协议：  
> 传输协议：RTP与RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）等  
> 控制信令：SIP和SDP、SNMP等  
> 
> 
> #### 4、解码数据： ####
> 
> 使用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显示的图像/声音  
> 涉及技术或协议：  
> 一般对应的编码器都会带有相应的解码器，也有一些第三方解码插件等  
> 
> 
> #### 5、播放显示： ####
> 
> 在显示器（电视、监视屏等）或扬声器（耳机、喇叭等）里，显示相应的图像画面或声音  
> 涉及技术或协议：  
> 显示器、扬声器、3D眼镜等  
> ![Center 2][]  
>   
> 
> 
> ### 3、常见的视频直播相关协议： ###
> 
> #### 1、RTMP(Real Time Messaging Protocol，实时消息传送协议) ####
> 
> RTMP是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。它有三种变种：  
> 1）、工作在TCP之上的明文协议，使用端口1935；  
> 2）、RTMPT封装在HTTP请求之中，可穿越防火墙；  
> 3）、RTMPS类似RTMPT，但使用的是HTTPS连接；  
> RTMP协议是被Flash用于对象、视频、音频的传输。这个协议建立在TCP协议或者轮询HTTP协议之上。RTMP协议就像一个用来装数据包的容器，这些数据既可以是AMF格式的数据，也可以是FLV中的视音频数据。一个单一的连接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的。  
> 
> 
> #### 2、RTSP(Real Time Streaming Protocol，实时流传输协议) ####
> 
> RTSP定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP提供了一个可扩展框架，数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接，为选择发送通道如UDP、组播UDP与TCP提供途径，并为选择基于RTP上发送机制提供方法。  
> RTSP语法和运作跟HTTP/1.1类似，但并不特别强调时间同步，所以比较能容忍网络延迟。代理服务器的缓存功能也同样适用于RTSP，并且因为RTSP具有重新导向功能，可根据实际负载情况来切换提供服务的服务器，以避免过大的负载集中于同一服务器而造成延迟。  
> 
> 
> #### 3、RTP(Real-time Transport Protocol，实时传输协议) ####
> 
> RTP是针对多媒体数据流的一种传输层协议，详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统（配合RTCP协议），视频会议和一键通系统（配合H.323或SIP），使它成为IP电话产业的技术基础。  
> RTP是建立在UDP协议上的，常与RTCP一起使用，其本身并没有提供按时发送机制或其它服务质量（QoS）保证，它依赖于低层服务去实现这一过程。  
> RTP 并不保证传送或防止无序传送，也不确定底层网络的可靠性，只管发送，不管传输是否丢包，也不管接收方是否有收到包。RTP 实行有序传送，RTP中的序列号允许接收方重组发送方的包序列，同时序列号也能用于决定适当的包位置，如在视频解码中，就不需要顺序解码。
> 
> ####     ####
> 
> #### 4、RTCP(Real-time Transport Control Protocol，实时传输控制协议） ####
> 
> RTCP是RTP的配套协议，为RTP媒体流提供信道外的控制。RTCP和RTP一起协作将多媒体数据打包和发送，定期在多媒体流会话参与者之间传输控制数据。  
> RTCP的主要功能是为RTP所提供的服务质量（QoS）提供反馈，收集相关媒体连接的统计信息，例如传输字节数，传输分组数，丢失分组数，单向和双向网络延迟等等。网络应用程序可以利用RTCP所提供的信息来提高服务质量，比如限制流量或改用压缩比小的编解码器。

![Center 3][]

## 三. 相关 ##

> OBS-PC端主播推流工具，斗鱼等游戏直播都在用  
> GitHub - jp9000/obs-studio: OBS  
> RTMP直播可以用nginx-rtmp  
> GitHub - arut/nginx-rtmp-module: NGINX-based Media Streaming Server  
> 开源播放器也很多，ffplay、jwplayer、ijkplayer等等，我就不一一给你发了，哈哈  
> https://github.com/Bilibili/ijkplayer  
> 其实最难的难点是提高首播时间、服务质量即Qos。要想在技术上把别的直播站PK下去，可以考虑这几种方案：  
> 1. gop缓存，为加快首播时间  
> 2. gop丢帧，为解决延时，为什么会有延时，网络抖动、网络拥塞导致的数据发送不出去，丢完之后所有的时间戳都要修改，切记要不客户端就会卡一个 gop的时间，是由于 dts 和 pts 的原因，或者播放器修正 dts 和 pts 也行（推流端丢gop更复杂，丢 p 帧之前的 p 帧会花屏）  
> 3. 纯音频丢帧，要解决音视频不同步的问题，要让视频的 delta增量到你丢掉音频的delta之后，再发音频，要不就会音视频不同步   
> 4. 源站主备切换和断线重连  
> 5. 根据TCP拥塞窗口做智能调度，当拥塞窗口过大说明节点服务质量不佳，需要切换节点和故障排查  
> 6. 增加上行、下行带宽探测接口，当带宽不满足时降低视频质量，即降低码率  
> 7. 定时获取最优的推流、拉流链路IP，尽可能保证提供最好的服务  
> 8. 监控必须要，监控各个节点的Qos状态，来做整个平台的资源配置优化和调度  
> 9. 如果你家产品从推流端、CDN、播放器都是自家的，保障 Qos 优势非常大.  
> 10. 当直播量非常大时，要加入集群管理和调度，保障 Qos

\--- end ---

[Center]: /images/20220711/74949b3225604aa6afafb3c8ab11cb43.png
[Center 1]: /images/20220711/120a97661f114d54bb6dc9369529b52f.png
[Center 2]: /images/20220711/af6030b4ce6b483aaa43ca71b60e3eb5.png
[Center 3]: /images/20220711/09b0e71e52b9445e89bfc7daf14744d6.png