论文笔记_S2D.64_2021_MonoRec_动态环境下单目移动相机的半监督稠密重建

柔光的暖阳◎ 2023-01-06 04:19 138阅读 0赞

**目录**

基本情况

摘要

1. 介绍

1.1. 真实世界的来自video的场景获取

1.2. 主要贡献

2 相关工作

2.1. 多视图立体视觉

2.2. 单目深度估计

2.3. 稠密SLAM

3. MonoRec 网络

MonoRec架构

4 实验对比

4.1 KITTI数据集

消融试验

4.2 牛津RobotCar和TUM-Mono

5 总结

参考

--------------------

# 基本情况 #

*  出处：Wimbauer, F., Yang, N., von Stumberg, L., Zeller, N., & Cremers, D. (**2021**). **MonoRec: Semi-supervised dense reconstruction in dynamic environments from a single moving camera**. In *Proceedings of the IEEE/CVF Conference on **Computer Vision and Pattern Recognition***(pp. 6112-6122).
 *  文章主页：[https://vision.in.tum.de/research/monorec][https_vision.in.tum.de_research_monorec]

MonoRec: 动态环境下单目移动相机的半监督稠密重建(TUM)

*  数据来源： kitti sequence 07

# 摘要 #

在本文中，我们提出了MonoRec，一种半监督的单眼密集重建架构，该架构可在动态环境中从单个移动摄像机预测深度图。

*  MonoRec是一种基于**多视图**的立体设置(setting)，
 *  该设置在**成本量的作用**下(in a cost volume)对多个**连续图像**的信息进行编码。
 *  为了处理场景中的动态对象，我们引入了一个MaskModule，它通过利用成本量中编码的**光度不一致**来预测**移动对象的蒙版**。与其他多视图立体方法不同，MonoRec能够通过利用预测的蒙版来**预测静态和运动对象的准确深度**。
 *  此外，我们提出了一种新型的多阶段训练方案，该方案不需要LiDAR深度值的半监督损失公式。

我们在KITTI数据集上仔细评估了MonoRec，并表明与多视图和单视图方法相比，它具有最新的性能。通过在KITTI上训练的模型，我们进一步证明了MonoRec能够很好地推广到牛津RobotCar数据集和手持摄像机记录的更具挑战性的TUM-Mono数据集。培训代码和预先训练的模型即将发布。

# 1. 介绍 #

## 1.1. 真实世界的来自video的场景获取 ##

获得对整个**静态**和**动态**环境的3D理解可以视为自动驾驶的关键挑战之一。今天，这是基于多个传感器源（包括摄像机，LiDAR，RADAR和IMU）的融合而实现的。这样可以保证车辆周围环境的覆盖范围和准确的自我运动估计。然而，由于**高成本以及维持**这种复杂传感器套件的**交叉校准**的挑战，对**减少传感器总数的需求**日益增长。因此，在过去的几年中，研究人员付出了很多努力来解决仅使用单眼单眼相机的感知问题。考虑到最近的成就，单眼视觉测距（VO）\[9，52，47\]，就自我运动估计而言，这无疑是成功的。然而，静态环境和运动对象的可靠密集3D映射仍然是一个开放的研究主题。

为了解决基于**单个移动摄像机**的密集3D重建问题，基本上有两条平行的研究路线。

*  一方面，有密集的**多视图立体（MVS）方法**，这些方法在过去十年中得到了发展\[38，41，2\]，并且通过使用卷积神经网络（CNN）\[24，55，51\]有了很大的进步。 \]。
 *  另一方面，有一些单眼深度预测方法**完全依赖于深度学习**\[8，17，52\]。

尽管所有这些方法都表现出令人印象深刻的性能，但这两种类型也都有各自的缺点。对于MVS，总体假设是要重建的是**固定环境**(a stationary environment)。因此，动态对象的存在总是会降低其性能。相比之下，单眼深度预测方法在**重建运动对象**时表现很好，因为预测是仅基于单个图像进行的。同时，由于仅使用单个图像，因此在特定的相机内参和外参下，它们强烈依赖于观测到的对象的透视外观，因此不能很好地推广到其他数据集。

## 1.2. 主要贡献 ##

多视图立体视觉（MVS）方法基于具有已知姿势的一组图像来估计3D环境的稠密点云。在过去的几年中，基于经典的优化方法已经开发出很多种方案来解决MVS问题。

基于单目的深度预测仅依赖于单个图像，单目深度预测通常在训练期间仍然消耗视频序列或立体图像。它的目的是解决与本文提出的类似的问题，即对包括静态和动态对象的3D场景进行稠密点云重构。

为了**结合**具有**deep MVS**和**单目深度预测**的优势，我们提出了MonoRec，这是一种新颖的单目密集重建架构，由MaskModule和DepthModule组成。

*  使用**成本量(cost volumes)**对来自多个连续图像的信息进行编码，这些成本量是基于**结构相似性指标度量（SSIM）**，而不是像以前的工作一样基于绝对差之和（SAD）构建的。
 *  MaskModule能够识别运动像素并降低成本量中的该相应体素。因此，与其他MVS方法相比，MonoRec**不受移动物体上的伪影的影响**，因此可提供**静态和动态物体的准确深度估计**。

与KITTI数据集上的其他MVS和单目深度预测方法相比，通过提出的多阶段训练方案，MonoRec可以实现最先进的性能。此外，我们在Oxford RobotCar数据集\[34\]和tumo - mono数据集\[10\]上验证了我们的网络泛化能力。图1显示了我们的方法生成的密集点云。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

图1. MonoRec可以通过单个移动相机提供了高质量的稠密重建的点云。该图显示了通过简单地累积预测的深度图来进行大规模室外点云重建（KITTI数据集）的示例。

# 2 相关工作 #

## 2.1. 多视图立体视觉 ##

//todo

## 2.2. 单目深度估计 ##

//todo

## 2.3. 稠密SLAM ##

//todo

# 3. MonoRec 网络 #

MonoRec使用一组**连续的图像帧**和**相应的相机位姿**来预测**给定关键帧的稠密深度图**。MonoRec结构结合了MaskModule和DepthModule。

*  MaskModule：用于**预测**运动对象的掩膜(mask)，以提高深度精度，并允许我们消除3D重建中的噪声。
 *  DepthModule：根据**掩膜的成本值**(masked cost volume)来预测深度图。

## **MonoRec架构** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

**细化损失：a）MaskModule细化和b）DepthModule细化损失函数。**

# 4 实验对比 #

为了评估所提出的方法，我们对KITTI数据集进行了训练和测试\[16\]。 我们将

*  **结果**与**最新的单目深度预测**和**MVS方法**进行比较。
 *  为了显示提出的不同组件的有效性，我们进行了广泛的**消融试验**并验证了我们的设计选择。
 *  此外，我们使用在KITTI上训练的模型论证了牛津RobotCar数据集\[34\]的**泛化能力**。

![图片][1dd60f8edac836f5b8b043588b9f7e80.png]

![图片][55b732329eb2f7b39a5349807a0e2801.png]

图5. 关于KITTI的**定性结果**：图的上部显示了从KITTI测试集中选择的若干帧的结果。 使用LiDAR作为GT（真值），以半监督方式训练了比较的PackNet模型。 除了深度图，我们还通过**重新投影深度**并从两个不同的角度查看来显示3D点云。 为了进行比较，我们从相应的角度展示了LiDAR的GT。 我们的方法清楚地显示了最佳的预测质量。 该图的下部显示了大规模的重构，即从多个帧中累积点云。 红色插图描绘了从运动对象重建的伪像。 借助提出的MaskModule，我们可以有效地**滤除运动对象**，以避免在最终重建中出现这些伪像。

**由kitti数据集生成的稠密点云的质量**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

表1：KITTI的**定量结果**：MonoRec与我们KITTI测试集上其他方法的比较。 “Dataset”列显示了相应方法使用的**训练数据集**，请注意，Eigen split 是我们的odometry split分割的超集。 最佳/次优结果标记为粗体/带下划线。 评估结果表明，我们的方法总体上取得了最佳性能。 图例：M：单眼图像，S：立体图像，D：GT深度，D \*：来自DVSO的深度，KF：关键帧，KF + 2：关键帧+ 2个单帧，CS：Cityscapes\[4\]，pretr .：预训练网络 ，FB：DeepTAM的固定频段模块(Fixed band module)，Ref .： DeepTAM的窄带优化模块(Narrow band refinement module)

MonoRec与KITTI测试集中的其他方法之间的比较。“数据集”列显示了相应方法使用的训练数据集，评估结果表明，该的方法总体上取得了最佳性能。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4][]

图6：定性改进：成本量掩膜(cost volume masking) 和深度细化的效果

## 4.1 KITTI数据集 ##

[Eigen split\[7\]][Eigen split_7] 是用于评估KITTI深度估计的最流行的训练/测试分割。我们不能直接使用它，因为MonoRec需要带**有估计姿态**的**时间连续的图像**。因此，我们选择训练/测试拆分为KITTI Odometry基准测试与[Eigen split][Eigen split_7]之间的交集，这样就得到了13714/8634个样本用于训练/测试。我们从单目VO系统DVSO中，获得图像之间的相对位姿\[53\]。在训练期间，我们还利用DVSO(Deep virtual stereo odometry)生成的点云作为**稀疏深度监控信号**。请注意，在训练MaskModule时，我们仅使用2412个图像，这些图像在生成的辅助蒙版中包含运动对象。以下，我们显示了使用改进的地面真实性\[46\]并**忽略深度大于80 m的像素**的评估结果。我们首先将我们的方法与最新技术进行比较，包括自监督单眼方法（MonoDepth2和PackNet），使用稀疏LiDAR数据的半监督单眼方法（PackNet），监督单眼方法（DORN）和MVS方法（DeepMVS和DeepTAM），如表1所示。请注意，DeepTAM的培训代码尚未发布，为了使用我们的split进行训练和比较 ,我们实现了它，以提供公平的比较。尽管仅依靠图像而不使用LiDAR真值进行训练，但我们的方法以**明显的优势胜过所有其他方法**。图5所示的定性结果也清楚地反映了这一点。与单眼深度估计方法相比，我们的方法在深度图中提供了非常**清晰的边缘**，并且可以恢复更**精细的细节**。与其他MVS方法相比，它可以更好地**处理运动对象**，如图7所示。

单个深度图通常无法真正反映大规模重建的质量。因此，我们还使用了来自图5下部中多个帧的深度图来可视化累积的点。我们可以看到，由于使用MaskModule，我们的方法可以提供非常高质量的重构，并且能够消除由移动对象引起的伪像。我们敦促读者观看补充视频，以进行更有说服力的比较。

### 消融试验 ###

为了研究不同成分对方法性能的影响，我们进行了彻底的消融试验。表2显示了我们的消融试验的定量结果。这些数字证实，我们提出的所有建议均比基准方法改善了深度预测。此外，图6定性地显示了MaskModule和优化训练所实现的改进。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5][]

## 4.2 牛津RobotCar和TUM-Mono ##

为了演示MonoRec的**泛化能力**，我们在牛津RobotCar数据集和TUM-Mono数据集上测试了我们的KITTI模型。牛津RobotCar是由安装在车辆上的摄像机记录的街景数据集。它显示了与KITTI类似的运动模式和视角。然而，TUM-Mono是由手持式单色相机记录的，因此与KITTI相比，它展现出了截然不同的运动和图像质量。结果如图8所示。单眼方法难以将其推广到新的环境。比较的MVS方法显示出更多的伪像，并且无法预测运动对象的合理深度。相反，我们的方法能够很好地将深度和运动对象预测的概图推广到新场景。由于牛津RobotCar还提供LiDAR深度数据，因此我们进一步显示了补充材料中的定量评估。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6][]

图7. 运动对象深度估计的比较：与其他MVS方法相比，MonoRec能够预测可能的深度。此外，深度预测在场景的静态区域中具有较少的噪声和伪像

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 7][]

# 5 总结 #

我们介绍了MonoRec，这是一种深度架构，可仅通过单个移动摄像机来估计准确的密集3D重建。我们首先建议使用**SSIM**作为**光度测量**来构建**成本量**。

*  为了处理室外场景中常见的**动态对象**，我们提出了一种新颖的**MaskModule**，它可以根据输入的成本量**预测移动的对象蒙版**。使用预测的蒙版，提议的DepthModule能够**估计静态和动态对象的准确深度**。
 *  此外，我们提出了一种新颖的**多阶段训练方案**以及用于训练深度预测的**半监督损失公式**。

综合起来，MonoRec能够在KITTI上定性和定量地胜过最新的MVS和单眼深度预测方法，并且在Oxford Oxford RobotCar和TUM-Mono上显示出强大的泛化能力。我们相信，这种从单个移动摄像机中恢复准确的密集3D重建的能力将有助于将摄像机确立为自主系统的先导传感器。

# 参考 #

*  \[53\] Nan Yang, Rui Wang, Jorg St ¨ uckler, and Daniel Cremers. ¨ **Deep virtual stereo odometry: Leveraging deep depth prediction for monocular direct sparse odometry**. In European Conference on Computer Vision (ECCV), pages 817–833, 2018.  
    
 *  [MonoRec：无需激光雷达，只需单个相机就可以实现三维场景的稠密重建][MonoRec]

[https_vision.in.tum.de_research_monorec]: https://vision.in.tum.de/research/monorec
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221119/c68792dfa47749ac8780ef6991a19db9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210114100537465.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210114100635418.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[1dd60f8edac836f5b8b043588b9f7e80.png]: https://img-blog.csdnimg.cn/img_convert/1dd60f8edac836f5b8b043588b9f7e80.png
[55b732329eb2f7b39a5349807a0e2801.png]: https://img-blog.csdnimg.cn/img_convert/55b732329eb2f7b39a5349807a0e2801.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210121203549209.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210729213656604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[Eigen split_7]: https://blog.csdn.net/shyjhyp11/article/details/109295258
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210121213936199.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210121213809823.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210121213744843.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[MonoRec]: https://mp.weixin.qq.com/s/kWx6jAS-bzCaDmbAixfCLw