webrtc的源码流程

╰+攻爆jí腚メ 2022-10-13 01:50 247阅读 0赞

一篇介绍webrtc的h264编码，从视频采集，编码，rtp传输，包解析，解码，渲染流程的文章：

[https://blog.piasy.com/2019/01/01/WebRTC-RTP-Mux-Demux/index.html\#webrtc-h264-%E8%A7%A3%E5%8C%85%E5%AE%9E%E7%8E%B0][https_blog.piasy.com_2019_01_01_WebRTC-RTP-Mux-Demux_index.html_webrtc-h264-_E8_A7_A3_E5_8C_85_E5_AE_9E_E7_8E_B0]

**1. 整体模块流程见下图。**

发送流程  
=========================================================================  
大致流程：  
     在java层，比如从camera获取到帧数据后，通过调用VideoSource::onFrameCaptured()传入帧数据，再传入native层AndroidVideoTrackSource::OnFrameCaptured()  
  a. 然后encoder编码得到要发送的视频帧; (在andriod平台，是调用mediacodec进行编解码，webrtc\_android\\src\\sdk\\android\\src\\jni\\video\_encoder\_wrapper.cc)  
  b. RtpSender模块对要发送的视频帧进行打包；  
  c. 打包后的packet，一份送到PacedSender准备平滑发送，同时送一份到RtpPacketHistory模块（后面重发可能会用到）；  
  d. 最后在RtpSender发送到网络，调用 LogAndSendToNetwork(std::move(rtp\_packets), unpacketized\_payload\_size)。

对应模块  
  java:   
    VideoSource::onFrameCaptured()  
  native:  
    AndroidVideoTrackSource::OnFrameCaptured(video\_frame\_buffer)  
    VideoStreamEncoder::OnFrame(VideoFrame)  
    webrtc\_android\\src\\video\\video\_stream\_encoder.cc  ==>  VideoStreamEncoder::EncodeVideoFrame  
    webrtc/modules/video\_coding/codecs/h264/h264\_encoder\_impl.h  ==>  H264EncoderImpl  
    webrtc/video/video\_send\_stream.h  ==>  VideoSendStream  
    webrtc/modules/rtp\_rtcp/source/rtp\_sender\_video.h  ==>  RTPSenderVideo  (打包RtpPacket)  
    webrtc/modules/rtp\_rtcp/source/rtp\_sender.h  ==>  RTPSender  
    webrtc/modules/pacing/paced\_sender.h  ==> PacedSender  
    webrtc/modules/pacing/packet\_router.h  ==> PacketRouter

user数据的流程修改，发送端：  
  0. VideoStreamEncoder通过onFrame接口拿到VideoFrame帧数据，然后调用VideoStreamEncoder::EncodeVideoFrame()，最后调用encode，对数据进行编码。  
  1. 编码前，上层需要将user信息传入encoder模块, 调用具体编码器的Encode(const VideoFrame& input\_image, const std::vector<VideoFrameType>\* frame\_types) 接口时，通过VideoFrame 类结构传入 user 信息；  
  2. 修改具体编码器代码，如安卓上（../../sdk/android/src/jni/video\_encoder\_wrapper.cc），将user 信息传入编码后的 EncodedImage 结构。  
  3. 在编码后，encoder模块在回调函数OnEncodedImage中，可以通过类 EncodedImage 传递user信息；（扩展EncodedImage类，添加user信息）  
  4. 在函数 RtpPayloadParams::GetRtpVideoHeader，从  EncodedImage 类传递给 RTPVideoHeader 类；  
  5. user信息传递到 RTPSenderVideo::SendVideo 函数的参数 RTPVideoHeader，   
  在rtp\_sender\_video.cc文件中，有个函数 AddRtpHeaderExtensions()，里面会设置rtp扩展头；  
=========================================================================

接收流程：  
=========================================================================  
大致流程：  
  a. 通过call模块收到rtp数据包；  
  b. 根据其SSRC找到对应的VideoReceiverStream,通过调用其DeliverRtp()函数到RtpStreamReceiver::DeliverRtp();  
  c. 调用RtpReceiver::IncomingRtpPacket和RtpReceiverVideo::ParseRtpPacket获取rtp报文信息和视频帧信息  
  d. 交给jitterBuffer缓存，解码渲染

对应模块  
  0. webrtc/call/call.cc  ==> Call::DeliverRtp()  
  1. webrtc/src/modules/rtp\_rtcp/source/rtp\_packet.cc  ==>  RtpPacket::Parse()  
  2. webrtc/src/modules/rtp\_rtcp/source/rtp\_packet.cc  ==>  RtpPacket::ParseBuffer()  //解析rtp头等信息  
  3. webrtc/video/rtp\_video\_stream\_receiver.cc  ==>  RtpVideoStreamReceiver::ReceivePacket()  //解析payload类型，扩展头信息，这里获取PoseInfo  
     3. webrtc/video/rtp\_video\_stream\_receiver2.cc (4289分支用这个文件)  
  4. webrtc/src/modules/video\_coding/packet\_buffer.cc  ==>  PacketBuffer::InsertPacket()  //转VCMPacket，放入缓存  
  5. webrtc/src/modules/video\_coding/packet\_buffer.cc  ==>  PacketBuffer::FindFrames()  //重组获取视频帧  
  6. RtpFrameReferenceFinder::ManageFrame()  
  7. VCMReceiver::FrameForDecoding()  //从VCMJitterBuffer的队列获取要解码的帧  
  8. VideoReceiver::Decode()  
  9. VideoDecoderWrapper::Decode()    
     VideoDecoderWrapper::onDecodedFrame() //sure  
  10. VCMDecodedFrameCallback::Decoded() //sure  
  11. VideoStreamDecoder::FrameToRender() //sure  
  12. VideoReceiveStream::OnFrame()  //sure  
  13. VideoSinkWrapper::OnFrame()  //sure  
  java:  
  VideoTrack.sinks.onFrame()

pose数据结构的流程：  
  1. video\_header  
  2. VCMPacket  
  3. RtpFrameObject  （对象的video\_header变量中，包含pose\_info信息）  
  4. VCMEncodedFrame  
  5. EncodedImage  
  6. VideoFrame  
=========================================================================

**从编码到数据发送调用流程：**  
LibvpxVp8Encoder::GetEncodedPartitions()  ==>  
VideoSendStreamImpl::OnEncodedImage()  ==>  
RtpVideoSenderInterface::OnEncodedImage()  ==>  
RtpVideoSender::OnEncodedImage()  ==>  
RTPSenderVideo::SendEncodedImage() ==>  
RTPSenderVideo::SendVideo  ==>  这个函数内部会详细设置rtp的header参数值，要设置扩展头，可以考虑在此修改代码；

RtpVideoSender::OnEncodedImage  
RTPSenderVideo::SendVideo  ==>  这个函数内部会详细设置rtp的header参数值，要设置扩展头，可以考虑在此修改代码；  
RTPSenderVideo::LogAndSendToNetwork  ==>  
RTPSender::SendToNetwork ==>  
PacedSender::EnqueuePackets ==>

[https_blog.piasy.com_2019_01_01_WebRTC-RTP-Mux-Demux_index.html_webrtc-h264-_E8_A7_A3_E5_8C_85_E5_AE_9E_E7_8E_B0]: https://blog.piasy.com/2019/01/01/WebRTC-RTP-Mux-Demux/index.html#webrtc-h264-%E8%A7%A3%E5%8C%85%E5%AE%9E%E7%8E%B0