论文笔记_S2D.41_2017-ICCV-使用深度估计与深度卷积神经场，进行单目视觉里程计的尺度恢复

曾经终败给现在 2022-11-21 11:37 168阅读 0赞

# 基本情况 #

*  题目：**Scale Recovery for Monocular Visual Odometry Using Depth Estimated with Deep Convolutional Neural Fields**
 *  出处：Yin, X., Wang, X., Du, X., & Chen, Q. (2017). Scale recovery for monocular visual odometry using depth estimated with deep convolutional neural fields. In *Proceedings of the IEEE International Conference on Computer Vision* (pp. 5870-5878).
    
     *  Tongji University

# 摘要 #

**尺度恢复（**Scale recovery**）**是单目视觉里程表的主要问题之一。通常，将**道路平面**和**摄像机高度**指定为恢复比例的参考。这些方法的性能取决于相机的平面识别和高度测量。在这项工作中，我们提出了一种新颖的方法，通过结合使用**深度卷积神经场**从图像估计的**深度**来恢复尺度。我们的方法将**整个环境结构**视为参考，而不是指定的平面。深度估计的准确性有助于尺度的恢复。我们通过考虑**两个连续的帧**以及进入的网络**摄像机的运动**，来提高深度估计的性能。迭代获得深度细化和尺度恢复。这样，我们的方法可以消除**尺度漂移**并同时**改善深度估计**。我们的方法的有效性已在KITTI数据集上进行了单眼视觉测距和深度估算任务的验证。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

图2. 我们的神经网络的结构。 神经网络的**输入**是**两个连续的帧**和**变换矩阵**。 **输出**是精确的**深度图**。 深度卷积部分由**深度残差网络**和**完全卷积网络**组成。 卷积部分的输出通过以下**条件随机场层**进行细化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

# 结论 #

我们为单目视觉里程表提出了一种新的**尺度恢复**方法。 使用图像预测的深度获得尺度，并使用卷积神经场预测深度。 通过将连续的帧和自我运动整合到我们的网络中，可以改善深度预测的性能。 我们方法的**优点**是它可以从整个环境的结构信息而不是从固定参考平面中恢复比例并消除比例漂移。 在KITTI数据集上进行了实验，以验证我们方法的有效性。 实验结果表明，我们的算法可以提高视觉里程表和深度估计任务的准确性。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221120/e5f4778d9f67489085b23d31e3f2911a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221120/428704e17f684b27a7834ff1c22a6e1b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20221120/dbd859c379a645d58b0f1cea889f89bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: /images/20221120/c0ff0a83a7b5415594c09d67873a6e1c.png