h264和h265视频流SDP描述详解

落日映苍穹つ 2024-02-22 07:14 50阅读 0赞

*  **1 SDP概述**
 *  **2.SDP媒体描述极其扩展属性**
    
     *  *2.1 m属性介绍*
     *  *2.2 a=control附加属性介绍*
     *  *2.3 a=rtpmap附加属性介绍*
     *  *2.4 a=fmtp附加属性介绍*

SDP（Session Description Protocol）会话描述协议，是一种用来描述信息格式的标准，它不是一种用于传输的协议而是由 ITEF 组织下的 MMusic 工作组设计的一种会话描述格式，其他的传输协议通过sdp来交换必要的信息,常用在实时音视频中用来交换信息;比如GB28181视频交互（SIP-INVITE)、RTSP（DESCRIBE)、WEBRTC等音视频交换协议中，用作描述音视频信息。

###  ###

## 1 SDP概述 ##

首先看一个海康摄像头，通过RTSP协议交换获得SDP信息，客户端发送DESCRIBE时的响应，如下：

RTSP/1.0 200 OK
    CSeq: 3
    Content-Type: application/sdp
    Content-Base: rtsp://10.45.12.141/h264/ch1/main/av_stream/
    Content-Length: 593
    
    v=0
    o=- 1658575881396804 1658575881396804 IN IP4 10.45.12.141
    s=Media Presentation
    e=NONE
    b=AS:5050
    t=0 0
    a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/
    m=video 0 RTP/AVP 96
    c=IN IP4 0.0.0.0
    b=AS:5000
    a=recvonly
    a=x-dimensions:1920,1080
    a=control:rtsp://10.45.12.141/h264/ch1/main/av_stream/trackID=1
    a=rtpmap:96 H264/90000
    a=fmtp:96 profile-level-id=420029; packetization-mode=1; sprop-parameter-sets=Z00AKpY1QPAET8s3AQEBQAABwgAAV+QB,aO48gA==
    a=Media_header:MEDIAINFO=494D4B48010300000400000100000000000000000000000000000000000000000000000000000000;
    a=appversion:1.0

Content-Type: application/sdp标识RTSP响应携带的消息类型是SDP，下面对SDP消息体进行详细介绍

## 2.SDP媒体描述极其扩展属性 ##

SDP媒体描述极其扩展属性，在不同的协议中有定义有所不同，需要参照不同协议的协议规范来看，这里介绍的是比较通用的定义，以RTSP协议中SDP的媒体描述定义。媒体描述扩展属性中有关c、b等属性不在做介绍，主要介绍m极其扩展属性a=control\\a=rtpmap\\a=fmtp进行详细介绍。

**2.1 m属性介绍**

m属性的格式如下：

m=<media> <port> <proto> <fmt> ...

实例如下：

m=video 0 RTP/AVP 96

每个字段代表的含义如下：

media：媒体类型，目前应用到的有video/audio/application等表示视频/音频/元数据等类型，根据不通协议规范，可扩展其他类型

port：流媒体服务器发送数据的传输端口号，表示服务器从本端口发送流，0表示随机端口发送，如果是RTSP协议，一般为0，后继协议SETUP时确定传输端口

proto：传输的协议类型， RTP/AVP表示支持UDP传输，RTP/AVP/TCP支持TCP传输，主流交互协议中，也用RTP/AVP表示既支持UDP又支持TCP

<fmt>：媒体格式描述，RTP中用payloadtype来赋值，表示流的类型，这里会和后面"a=rtpmap:"、“a=fmtp:”相关联，具体对媒体进行描述。

**2.2 a=control附加属性介绍**

在m属性之前，一般会有如下格式的扩展属性，例如

a=control:rtsp://10.45.12.141/h264/ch1/main/av\_stream/

如果在m之前出现，则标识后面的多媒体流控制地址是由此rtsp://10.45.12.141/h264/ch1/main/av\_stream/前缀的，如果前缀为\*，则标识无前缀，这在SDP解析的时候可以作为查找依据。

SDP描述中可以包含多个流媒体描述，每个流媒体都是以m开头，到遇到下个m为止，媒体流选择是通过媒体描述的附加属性a=control:来区分，比如如下SDP信息

v=0
    o=- 1387444157003239 1 IN IP4 10.45.149.105
    s=LIVE555 Streaming Media v2013.07.03
    i=000100
    t=0 0
    a=tool:LIVE555 Streaming Media v2013.07.03
    a=type:broadcast
    a=control:*
    a=range:npt=0-
    a=x-qt-text-nam:LIVE555 Streaming Media v2013.07.03
    a=x-qt-text-inf:000100
    m=video 0 RTP/AVP 96
    c=IN IP4 0.0.0.0
    b=AS:8000
    a=rtpmap:96 H264/90000
    a=control:track1
    m=audio 0 RTP/AVP 0
    c=IN IP4 0.0.0.0
    b=AS:512
    a=control:track2
    a=rtpmap:0 PCMU/8000
    a=recvonly
    m=audio 0 RTP/AVP 0
    c=IN IP4 0.0.0.0
    b=AS:512
    a=control:track3
    a=rtpmap:0 PCMU/8000
    a=sendonly

其中包含了三个流的描述，分别为视频、下行语音、上行语音组成，通过a=control:附加属性的值来区分，track1标识视频，track2表示下行预研、track3表示上行语音，在客户端建立连接阶段（RTSP-SETUP)根据自己的需求去建立连接并播放

**2.3 a=rtpmap附加属性介绍**

附加属性的格式如下：

a=rtpmap:<payload type><encoding name>/<clock rate>\[/<encodingparameters>\]

实例如下：

a=rtpmap:96 H264/90000

详解如下：

payloadtype:负载类型在多路复用技术中表示一个流通道，这里与媒体信息中的fmt对应

扩展描述媒体打包信息

encodingname：编码方式，表示流的编码方式，比如H264、H265等

clock rate：采样的时钟频率，这里视频流一般为90000，如果为RTP流，时钟频率将作为RTP帧间隔的衡量，例如帧间隔为40ms，则RTP包的时间戳间隔为（40/1000）\*90000=3600

2.4 a=fmtp附加属性介绍

附件属性的格式，H264和H265有一定的区别，这里分开来说明，首先看下H264格式：

a=fmtp:<payload type> profile-level-id=<xxx>; packetization-mode=1;sprop-parameter-sets=xxx,xxx

实例如下：

a=fmtp:96 profile-level-id=420029; packetization-mode=1; sprop-parameter-sets=Z00AKpY1QPAET8s3AQEBQAABwgAAV+QB,aO48gA==

详解如下：

payload type：负载类型在多路复用技术中表示一个流通道，这里与媒体信息中的fmt对应

profile-level-id：为三个十六进制表示的字节，第一个字节表示profile\_idc（编码规格），第二个字节表示profile-iop，第三个字节表示level\_idc编码等级，profile\_idc一般有三个取值0x42(66)-baseline profile,0x4D(77)-main profile,0x58(88)-extened profile;profile-iop, 0x64(100)-high profile;profile-iop每个字段对应一个含义，主要是区分是否严格按照编码规范，这里一般取00；第三个字节level\_idc编码水平，其等于编码等级\*10，上例中的编码等级为4.1

packetization-mode：表示封装方式，0或不存在时, 必须使用单一NALU 单元模式；1-必须使用非交错(non-interleaved)封包模式；2-必须使用交错(interleaved)封包模式，一般采用非交错模式

sprop-parameter-sets：sps,pps;SPS和PPS的数据的base64编码，序列参数集和图像参数NAL单元，采用 Base64 进行编码. 不同的参数集间用","号隔开

H265的fmtp格式不通通信协议中有很多方式，也有与h264统一的格式，即sprop-parameter-sets=VPS,SPS,PPS,这里介绍一种较为常用的格式，如下：

a=fmtp:96 sprop-vps=xxx;sprop-sps=xxx; sprop-pps=xxx

实例如下：

a=fmtp:96 sprop-vps=QAEMAf//AIAAAAMAAAMAAAMAAAMAALUCQA==;sprop-sps=QgEBAWAAAAMAsAAAAwAAAwB7oAPAgBDlja5JMvTcBAQEAg==; sprop-pps=RAHA8vA8kAA=

sprop-vps：VPS的base64编码

sprop-sps：SPS的base64编码

sprop-pps: PPS的base64编码

有关fmtp还可以自定义其他属性，类似方式a= fmtp:96 xxx=xxx;，具体扩展含义，可以自定义，只要客户端和服务器规定一致即可。