Kurento实战之三：知识点小导游

向右看齐 2023-01-04 13:14 174阅读 0赞

### 欢迎访问我的GitHub ###

> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog\_demos][https_github.com_zq2599_blog_demos]

### 本篇概览 ###

*  作为《Kurento实战》的第三篇，咱们一起将重要的知识点梳理清楚，并从整体上观察和理解Kurento，这样后面的学习和开发能更好的融会贯通，还能高效发挥Kurento的能力；

### WebRTC很重要 ###

1.  Kurento 是一个 WebRTC 媒体服务器和一组客户端API，因此，基础WebRTC知识储备是强制的、必要的，建议您提前有所了解；
2.  没有Kurento时基于WebRTC的点对点音视频流处理逻辑如下：  
    ![在这里插入图片描述][20210109235450921.jpg]
3.  有Kurento后变成下面这种，客户端实际上和KMS(Kurento Media Server)建立了点对点连接，收到的数据也来自KMS，这些数据可以是原生的，又或许是被KMS处理过的(如上一篇文章中戴一顶帽子的demo)：  
    ![在这里插入图片描述][20210109235556955.jpg]

### 和GStreamer的关系 ###

*  对WebRTC有了了解后，应该对GStreamer有基本的了解，然后再去学习Kurento会有更好的效果，这样当你在学习Kurento的过程中，遇到pipeline、element、src、sink这些概念时会有种本该如此的感觉：这些概念在GStream中同样存在且十分重要，它们发挥的作用和在Kurento中十分相似；
 *  Kurento的KMS中，录制、播放、编解码等能力都来自GStream库；
 *  GStreamer 是个开源多媒体框架，可以构建流媒体应用，以管道（Pipeline）方式将各步骤串联，每个步骤的元素（Element）基于GObjec通过插件（plugins）方式实现；
 *  下面是个典型的pipeline，功能是将一个多媒体文件的音视频分离，再分别输出到音频和视频设备上：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70]
 *  作为对比，再来看看Kurento的pipeline，下面是滤镜demo的pipeline示意图，功能是给视频中的人头上戴一顶帽子：  
    ![在这里插入图片描述][2021011010532076.png]
 *  上面两个图对比可见，基于GStreamer的Kurento也有pipeline、element、src、sink，但Kurento有自己的特点：KMS、WebRtcEndpoint、JsonRpc这些概念都和网络服务相关，回到Kurento的官方文档首页看看它的定位，如下图所示：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 1]
 *  看到这里，聪明的您对GStreamer和Kurento应该有了更深刻全面的认识：Kurento在设计上和GStreamer基本对齐，并且将GStreamer的已有能力和WebRtc实时音视频技术在Pipeline+Element机制下整合组装，打造出高效可扩展的音视频技术方案；
 *  随着Kurento学习的深入，会接触到更多的GStreamer知识，如下图是Kurento源码的脚手架文件夹中的模板代码：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 2]

### Kurento的客户端 ###

1.  为了更好的使用KMS的能力，Kurento官方提供了java和nodejs两个版本的客户端；
2.  如果您擅长的编程语言不是java或nodejs也没关系，可以参考[Kurento Protocol][]自己来实现客户端（作为java程序员的欣宸涌现出一丝优越感…）；
3.  客户端的作用：提供API给业务调用，通过这些API可以向KMS发送指令，让KMS为业务服务，例如编排pipeline，如下图，重点是业务应用服务，集成了Kurento的客户端后就能向KMS发送指令了：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 3]

### 基本概念梳理 ###

Kurento中涉及的概念并不算多，且很多都向GStreams对其了，总的来说比较好理解，在此将所有重要概念梳理出来便于后面的学习：

*  module：Kurento本身是插件化的框架，所有插件(plugin)都被称为module；
 *  官方将所有module分为三大类：main、built-in、custome，下图很形象的解释了它们在Kurento中的定位：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 4]
 *  紧接着官方抛出了Kurento toolbox的概念，并且将熟悉的各种能力都展现在toolboox中：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 5]
 *  toolbox中的所有element与前面划分的module都是有归属关系的，我这里用思维导图整理好了，希望能帮助您梳理清楚这些关系：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 6]
 *  上述思维导图中唯有Group Communications的位置无法从前面的信息中得到，最终通过翻阅源码的方法确定了属于kms-elements（因为其源码在kms-elements工程中）
 *  几千字写完，曾经的疑惑和记录的笔记都成了这篇文章的一部分，希望本文能帮助您快速抓住重点，少走弯路少踩坑，接下来就要开始编码实战了，您准备好了么？

### 你不孤单，欣宸原创一路相伴 ###

1.  [Java系列][Java]
2.  [Spring系列][Spring]
3.  [Docker系列][Docker]
4.  [kubernetes系列][kubernetes]
5.  [数据库+中间件系列][Link 1]
6.  [DevOps系列][DevOps]

### 欢迎关注公众号：程序员欣宸 ###

> 微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界…

[https_github.com_zq2599_blog_demos]: https://github.com/zq2599/blog_demos
[20210109235450921.jpg]: /images/20221119/bc60b3b2de194d0db875c8f1e893217d.png
[20210109235556955.jpg]: https://img-blog.csdnimg.cn/20210109235556955.jpg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210110104441848.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70
[2021011010532076.png]: https://img-blog.csdnimg.cn/2021011010532076.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210110110341328.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210110114500813.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70
[Kurento Protocol]: https://doc-kurento-zh-cn.readthedocs.io/zh_CN/v6.6.1/mastering/kurento_protocol.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210110150440509.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210110152404749.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210110153051645.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210110155919286.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70
[Java]: https://xinchen.blog.csdn.net/article/details/105068742
[Spring]: https://xinchen.blog.csdn.net/article/details/105086498
[Docker]: https://xinchen.blog.csdn.net/article/details/105086732
[kubernetes]: https://xinchen.blog.csdn.net/article/details/105086794
[Link 1]: https://xinchen.blog.csdn.net/article/details/105086850
[DevOps]: https://xinchen.blog.csdn.net/article/details/105086920