Kurento实战之六：云端录制

淡淡的烟草味﹌ 2022-10-08 05:38 216阅读 0赞

### 欢迎访问我的GitHub ###

> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog\_demos][https_github.com_zq2599_blog_demos]

### 本篇概览 ###

*  本文是《Kurento实战》系列的第六篇，前文咱们学习了通过KMS的组件播放流媒体，今天再来体验KMS的另一个强大功能：音视频录制，在播放的过程中，将音视频内容存储在KMS所在的硬盘上；
 *  整个系统的架构如下图所示，和[《媒体播放》][Link 1]相比，蓝色是新增内容，可见依旧保持了前文架构，在此基础上，本文会使用一个新的组件RecorderEndpoint，借助此组件，取得PlayerEndpoint上的音视频内容，再将其以mkv、mp4、webm等格式存储在硬盘上：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center]

### 源码下载 ###

*  本篇实战中的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog\_demos)：

<table> 
 <thead> 
  <tr> 
   <th align="left">名称</th> 
   <th align="left">链接</th> 
   <th align="left">备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">项目主页</td> 
   <td align="left">https://github.com/zq2599/blog_demos</td> 
   <td align="left">该项目在GitHub上的主页</td> 
  </tr> 
  <tr> 
   <td align="left">git仓库地址(https)</td> 
   <td align="left">https://github.com/zq2599/blog_demos.git</td> 
   <td align="left">该项目源码的仓库地址，https协议</td> 
  </tr> 
  <tr> 
   <td align="left">git仓库地址(ssh)</td> 
   <td align="left">git@github.com:zq2599/blog_demos.git</td> 
   <td align="left">该项目源码的仓库地址，ssh协议</td> 
  </tr> 
 </tbody> 
</table>

*  这个git项目中有多个文件夹，本次实战的源码在kurentordemo文件夹下，如下图红框所示：  
    ![在这里插入图片描述][2021061922265181.png_pic_center]
 *  kurentordemo是整个《Kurento实战》系列的父工程，里面有多个子工程，本篇对应的源码是子工程player-with-record，如下图红框：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 1]

### 编码 ###

*  从前面的架构图可见，录制功能是基于前文[《媒体播放》][Link 1]的架构进行增强的，因此本篇不再新建工程，而是在前文player-with-record工程的基础上增加一些代码即可；
 *  打开UserSession.java，增加两成员变量：

// 日志类
    private final Logger log = LoggerFactory.getLogger(UserSession.class);
    
    // 每次播放对应的PlayerEndpoint对象，放在UserSession类中，这样便于执行关闭操作
    private PlayerEndpoint playerEndpoint;

*  UserSession类的release方法，以前只有关闭playerEndpoint和mediaPipeline的功能，现在又增加了playerEndpoint的关闭操作，如下可见，在关闭recorderEndpoint的时候，用CountDownLatch实例来阻塞当前线程，直到KMS反馈recorderEndpoint关闭成功后，才继续执行原有的关闭playerEndpoint和mediaPipeline的操作，这个很好理解，recorderEndpoint涉及到写硬盘导致耗时较长，如果在写的过程中关闭掉它的源头playerEndpoint，是不合适的（playerEndpoint和mediaPipeline的关闭都会触发recorderEndpoint的关闭操作）：

public void release() { 
        // 关闭录制组件
        if (recorderEndpoint != null) { 
          log.info("do stop recorder endpoint");
          final CountDownLatch stoppedCountDown = new CountDownLatch(1);
    
          // 增加监听，等待KMS关闭录制组件的结果
          ListenerSubscription subscriptionId = recorderEndpoint
                  .addStoppedListener(new EventListener<StoppedEvent>() { 
                    @Override
                    public void onEvent(StoppedEvent event) { 
                      log.info("finish stop recorder endpoint");
                      // 关闭成功后，把锁打开，这样stoppedCountDown.await方法就不再阻塞
                      stoppedCountDown.countDown();
                    }
                  });
    
          // 执行停止操作
          recorderEndpoint.stop();
    
          try { 
            // 当前线程开始等待
            if (!stoppedCountDown.await(5, TimeUnit.SECONDS)) { 
              log.error("Error waiting for recorder to stop");
            }
          } catch (InterruptedException e) { 
            log.error("Exception while waiting for state change", e);
          }
    
          // 移除监听器
          recorderEndpoint.removeStoppedListener(subscriptionId);
        }
    
        this.playerEndpoint.stop();
        this.mediaPipeline.release();
      }

*  新建文件PlayerRecorderHandler.java，内容和之前的PlayerHandler一模一样，在start方法的尾部增加以下代码，有几处要注意的地方稍后提到：

// 以当前的年月日时分秒作为文件名
        String path = "file:///tmp/" + new SimpleDateFormat("yyyyMMddHHmmss").format(new Date()) + ".mp4";
    
        log.info("save path : {}", path);
        
        // 实例化录制组件
        RecorderEndpoint recorderEndpoint = new RecorderEndpoint
                                                .Builder(pipeline, path)
                                                .withMediaProfile(MediaProfileSpecType.MP4)
                                                .build();
    
        // 关联到用户，停止播放的时候
        user.setRecorderEndpoint(recorderEndpoint);
    
        // 连接到播放组件
        playerEndpoint.connect(recorderEndpoint);
    
        // 开始录制
        recorderEndpoint.record();

*  上述代码中要注意的有两处：

1.  withMediaProfile的参数MediaProfileSpecType决定了存储文件的格式，以及具体的内容（音频、视频、音频+视频），看源码一目了然：

public enum MediaProfileSpecType { 
    	WEBM, 
    	MKV, 
    	MP4, 
    	WEBM_VIDEO_ONLY, 
    	WEBM_AUDIO_ONLY, 
    	MKV_VIDEO_ONLY, 
    	MKV_AUDIO_ONLY, 
    	MP4_VIDEO_ONLY, 
    	MP4_AUDIO_ONLY, 
    	JPEG_VIDEO_ONLY, 
    	KURENTO_SPLIT_RECORDER}

1.  通过playerEndpoint.connect建立组件之间的连接，这样录制组件就能取到合适的录制内容了；

*  修改PlayerWithRecorder.java，增加以下方法，用于新建bean实例：

@Bean
      public PlayerRecorderHandler playerRecorderHandler() { 
        return new PlayerRecorderHandler();
      }

*  再修改PlayerWithRecorder.registerWebSocketHandlers方法，改为用PlayerRecorderHandler来处理websocket：

@Override
      public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) { 
    // registry.addHandler(handler(), "/player");
        registry.addHandler(playerRecorderHandler(), "/player");
      }

*  本篇只是展示录制功能，因此做得很简单，开始播放时就开始录制，停止播放时自动停止录制，实际的操作方式可以更加灵活，例如增加独立的开始录制和停止录制按钮；
 *  编码已经完成，接下来开始验证；

### 验证 ###

*  注意：当player-with-record应用和KMS部署在不同电脑上时，录制的文件在KMS所在电脑上
 *  启动KMS
 *  启动player-with-record应用
 *  播放广东卫视rtmp://58.200.131.2:1935/livetv/gdtv：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 2]
 *  播放了一会儿然后停止播放，去检查kms容器内部，发现已经新增文件20210621075820.mp4，再执行docker cp命令将其从容器中复制到宿主机上：

[root@centos7 ~]# docker exec kms ls /tmp
    20210621075820.mp4
    [root@centos7 ~]# docker cp kms:/tmp/20210621075820.mp4 ./
    [root@centos7 ~]# ls
    20210621075820.mp4

*  用VLC播放此文件，声音和图像都正常：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 3]
 *  接下来将我这边遇到过的几个问题小结一下，希望能得到您的重视，这都是坑啊…

### 要注意的地方 ###

*  下面是在实际使用过程中遇到的几个坑，请提前注意：

1.  要等recorder停止成功后，才去停止其他组件，因此执行了recorderEndpoint.stop方法后，要等待KMS通知执行成功，才能继续关闭playerEndpoint和mediaPipeline
2.  流媒体中同时包含了视频流和音频流，才可以使用MediaProfileSpecType.MP4，如果只有视频流没有音频流，要使用MP4\_VIDEO\_ONLY，否则，可能导致生成的mp4文件大小为零，对应webm和mkv格式也有同样问题，请注意
3.  MP4作为音视频的容器，对音频格式的兼容性不够好，如果录制的mp4文件没有声音，请改为webm格式再试试
4.  如果播放的是网络摄像头的RTSP流，那么此时音频编码格式可能是pcm，此时有可能录制的文件没有声音

*  至此，云端录制功能的开发和验证都完成了，如果您正在使用kurento，希望本文能给您一些参考；

### 你不孤单，欣宸原创一路相伴 ###

1.  [Java系列][Java]
2.  [Spring系列][Spring]
3.  [Docker系列][Docker]
4.  [kubernetes系列][kubernetes]
5.  [数据库+中间件系列][Link 2]
6.  [DevOps系列][DevOps]

[https_github.com_zq2599_blog_demos]: https://github.com/zq2599/blog_demos
[Link 1]: https://xinchen.blog.csdn.net/article/details/118055902
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/f3e3910021904b9ea28594d41cf02eb3.png
[2021061922265181.png_pic_center]: /images/20221005/2dec38a52df84a7dbc85fd24e8ede0b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221005/364a2ee42a5e40e28b891d1605c12ecc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221005/1f66172e7cdf4925b34864591e47170d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221005/b28387f6b2fc46d38bf5d0cb6dde553d.png
[Java]: https://xinchen.blog.csdn.net/article/details/105068742
[Spring]: https://xinchen.blog.csdn.net/article/details/105086498
[Docker]: https://xinchen.blog.csdn.net/article/details/105086732
[kubernetes]: https://xinchen.blog.csdn.net/article/details/105086794
[Link 2]: https://xinchen.blog.csdn.net/article/details/105086850
[DevOps]: https://xinchen.blog.csdn.net/article/details/105086920