论文笔记_S2D.70_2021_IEEE-RAL_CodeMapping:使用紧凑场景表示的稀疏SLAM的实时稠密建图

古城微笑少年丶 2022-08-31 02:15 119阅读 0赞

# 基本情况 #

*  **题目：**CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations
 *  **引用：**Matsuki, H., Scona, R., Czarnowski, J., & Davison, A. J. (2021). **CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations**. *IEEE Robotics and Automation Letters*.
 *  **出处：**[https://ieeexplore.ieee.org/abstract/document/9484785/keywords\#keywords][https_ieeexplore.ieee.org_abstract_document_9484785_keywords_keywords]
 *  [视频展示][Link 1]：（引自 **计算机视觉life**）
 *  帝国理工最新工作！稀疏SLAM实时稠密建图

# 摘要 #

我们为稀疏视觉 SLAM 系统提出了一种新颖的密集映射（稠密建图）框架，该框架利用了紧凑的场景表示。我们采用最先进的稀疏视觉 SLAM 系统提供对相机轨迹和地标位置的准确和可靠估计。虽然这些稀疏地图对定位很有用，但它们不能用于其他任务，例如**避障**或**场景理解**。在本文中，我们提出了一个密集映射框架来**补充**稀疏视觉 SLAM 系统，该框架将 SLAM 系统产生的**相机姿势、关键帧**和**稀疏点**作为输入，并为每个**关键帧**预测**密集深度图像**。我们建立并使用**变分自动编码器 (variational autoencoder，VAE)**，该编码器以稀疏 SLAM 的强度、稀疏深度和重投影误差图像为条件，以预测不确定性感知密集深度图。然后使用 VAE 使我们能够通过**多视图优化**来改进密集深度图像，从而提高重叠帧的一致性。我们的映射器以松散耦合的方式在与 SLAM 系统并行的**单独线程**中运行。这种灵活的设计允许与**任意程度稀疏** SLAM 系统集成，而不会延迟主要 SLAM 过程。我们的密集映射器不仅可以用于局部映射，还可以用于通过 **TSDF** 融合进行全局一致的**密集 3D 重建**。我们展示了使用 ORB-SLAM3 运行的系统，并展示了准确的密集深度估计，这可以支持机器人和增强现实等应用。

# I. 介绍 #

基于视觉的同时定位与建图（SLAM）在过去 20 年取得了显着进展，并具有广泛的商业应用，如机器人导航和 AR/VR。先前的研究表明，SLAM 准确性的关键要素是信息点选择（通常是角或边缘）以及相机姿势和地标位置的联合优化（束调整, BA）。由于这些，与将地图构建和相机姿态估计分离的密集方法相比，稀疏 SLAM 产生更准确的结果 \[2\]\[3\]\[4\]。在实际应用中，稀疏 SLAM 通常与其他传感器融合以提高鲁棒性并提供度量尺度 \[4\] \[5\]。然而，稀疏特征图没有**视觉信息**，不能直接用于无碰撞运动规划或表面感知 AR 等任务。有几种方法试图同时执行密集映射和相机定位 \[6\] \[7\]，但它们不如稀疏方法成功，因为 (1) 密集图像对齐容易受到光度噪声的影响和 (2) 大量场景参数限制了实时联合优化。因此，与运行密集 SLAM 相比，使用**单独的算法**来推断密集深度可能更实用。这种致密化通常由多视图立体算法完成，但近年来，许多使用深度学习的深度补全方法也得到了研究，并显示出良好的性能 \[8\]\[9\]\[10\]。

在本文中，我们提出了 CodeMapping，这是一种利用稀疏 SLAM 提供的几何先验信息的新型实时密集映射方法。

*  我们扩展了 **CodeSLAM** \[1\] 中提出的紧凑场景表示以完成稀疏点集。
 *  我们**训练一个 VAE** 来预测一个密集的深度图，并在相应的灰度图像、一个来自地图中可观察特征的稀疏深度图像和一个重投影误差图像上对其进行调节，以实现不确定性感知深度补全。
    
     *  连续深度图通过使用 SLAM 系统提供的固定相机姿态的多视图优化进行细化，以提高其一致性和准确性。
 *  我们的系统与 SLAM 系统**并行**工作，订阅估计的相机姿态、稀疏深度和重投影误差图。该方法为多视图密集束调整和实时执行提供了灵活的关键帧选择，而无需中断主要 SLAM 过程。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4][]

[https_ieeexplore.ieee.org_abstract_document_9484785_keywords_keywords]: https://ieeexplore.ieee.org/abstract/document/9484785/keywords#keywords
[Link 1]: https://www.bilibili.com/video/BV11b4y1675b?p=1&share_medium=android&share_plat=android&share_source=WEIXIN&share_tag=s_i&timestamp=1626923818&unique_k=gI7Tzd
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20220829/fe6cff16a3d749e9878a3ce5b0002b86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20220829/ccaed51b39a3484b80de4555c7ace1a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20220829/66a9b0359c464369973cb464ef3edbde.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: /images/20220829/c4c0db5ffefd4a50b28aaaaf8a984317.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4]: /images/20220829/a5d89c76e72a4b8a955317cebdfc8f6d.png