论文笔记_S2D.57_2018-IROS_LIMO:激光雷达单目视觉里程计

r囧r小猫 2022-12-28 01:44 256阅读 0赞

# 基本情况 #

*  出处：Graeter J, Wilczynski A, Lauer M. **Limo: Lidar-monocular visual odometry**\[C\]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 7872-7879.

# **1. 内容介绍** #

基于LiDAR点云估计对应图片帧中特征点的深度。

LiDAR深度增强的单目VO。包含帧帧位姿估计和滑动窗口BA。

# **2. 研究背景** #

VSLAM是使用相机观测环境来同时估计环境的3D结构和相机自运动的问题。最常见的解决方法是BA。

*  但是BA同时优化所有相机位姿和路标，消耗太大。

为了实现实时的VSLAM，很多优化算法被提出。VSLAM结构如图2所示。包括特征提取，特征预处理，帧帧运动估计，尺度估计，BA和回环检测。由于本文专注于LiDAR辅助的单目里程计，因此不包含回环检测。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

图2. VSLAM流程结构。

常见的VSLAM解决方案依赖双目相机。但是基于双目相机的VSLAM需要准确的相机标定。

*  Krevso等人\[12\]提出通过**分解场**学习双目相机的标定偏差。
 *  Geiger等人\[7\]提出了一种在**平移估计中的标定误差**补偿方法。

相比之下，LiDAR不需要额外的外参标定，可以得到准确的点云深度。因此，

*  **我们想要组合LiDAR准确的深度估计和相机的强大特征跟踪能力。**

我们提出一种从LiDAR中提取图片中特征点的深度的新方法。具体地，我们拒绝不满足局部平面假设的外点，并特殊考虑了地面点。为了达到实时表现，我们仔细设计了先验估计，路标选择和关键帧选择。本文中，我们没有使用任何LiDAR-SLAM算法，因为我们想推动LiDAR深度测量和VO组合的研究边界。

# **3. 方法** #

## **A. 特征提取和预处理** ##

特征提取包括**特征跟踪**和**特征关联**。特征跟踪使用viso2库中使用的方法，在30-40ms内提取2000个特征对应。然后需要剔除动态的特征点。为此，我们先建立**语义图片**\[21\]，然后在每个特征点周围寻找语义属于动态的点的个数，如果大于一定阈值，则认为该特征点也属于动态点。

## **B. 尺度估计** ##

为了估计尺度，需要从LiDAR中提取特征点的深度。在本工作中，我们使用**单帧激光点云**来获得特征点的深度。虽然这导致更少可用的点云数据由于没有使用累积点云，但是这也避免了对运动估计的依赖。

首先将LiDAR点云投影到对应的相机坐标系中，然后对每个特征点，执行如下步骤：

*  1）首先寻找该特征点周围的矩形框内的激光点。
 *  2）然后对这些激光点按照深度进行划分。
 *  3）寻找最靠近该特征点的深度区间的点云，拟合平面。
 *  4）我们认为该特征点位于该平面上，根据光心和特征点的连线与平面的交点记为该特征点的深度。
 *  5）检测估计深度的准确性：光心和特征点连线与平面的夹角必须小于某个阈值；拒绝深度高于30m的特征点以防外点。

对于地面上的特征点进行特殊处理。首先从LiDAR点云中提取地面，然后直接利用地面点云拟合平面，而不需要第2和第3步。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

图3. 矩形框自适应大小。对于每个特征点（绿色），矩形框至少包含两根扫描线的激光点（红点），如中图所示；而不能只包含一根扫描线中的点，如右图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

图4. 基于深度划分的平面拟合。如果不事先将点云按照深度划分区间，拟合的平面可能出错（如左图所示）。点云按照深度划分区间后，减少了拟合错误平面的可能。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

图5. 地面平面不能按照深度划分区间的方式提取，因此需要特别处理。

## **C. 帧帧里程计** ##

为了得到BA的初始化结果，我们首先执行帧间运动估计。帧间里程计优化如下问题：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4][]

## **D. 后端优化** ##

为了得到更准确的位姿估计结果，我们在后端对关键帧执行BA。文中详细介绍了关键帧选择和特征点选择策略，但是具体列出选择的流程，这部分的介绍请参考原文。这里着重介绍BA优化问题的具体形式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5][]

# **4. 实验验证** #

在KITTI数据集上进行了验证，不同速度下的相对平移误差和相对旋转误差均值如下图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6][]

图7. 不同速度下的相对平移和旋转误差均值。

# **5. 总结** #

## **A. 核心思想** ##

提出了一种基于LiDAR点云的视觉特征点深度估计方法，并在BA中添加特征点的深度误差项。

## **B. 优缺点** ##

实验不充分。如没有进行消融实验。文中提出了许多策略，但没有验证每个策略对精度/鲁棒性的影响程度。

## **C. 展望** ##

视觉-激光SLAM除勒特征点深度估计外，还有很多有前景的方向，比如紧耦合，语义SLAM等。二者互补的潜力仍然有待挖掘。

# 参考 #

*  [【论文阅读41】LIMO: LiDAR-Monocular Visual Odometry][41_LIMO_ LiDAR-Monocular Visual Odometry]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221120/334c53ee32d54ddcb1b370485bc2b525.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201213204636711.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201213204706517.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201213204727584.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201213205051647.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201213205104333.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/2020121320513296.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[41_LIMO_ LiDAR-Monocular Visual Odometry]: https://zhuanlan.zhihu.com/p/150050186