论文笔记_S2D.40_2017_CVPR_半监督深度学习的单目深度图预测

以你之姓@ 2022-11-20 08:27 199阅读 0赞

# 基本情况 #

*  题目：Semi-Supervised Deep Learning for Monocular Depth Map Prediction
 *  出处：Kuznietsov, Y., Stuckler, J., & Leibe, B. (2017). Semi-supervised deep learning for monocular depth map prediction. In *Proceedings of the IEEE conference on computer vision and pattern recognition* (pp. 6647-6655).

# 摘要 #

有监督的深度学习经常受到**缺乏足够训练数据**的困扰。特别是在单目深度地图预测的背景下，在真实的动态室外环境中很难确定密集的地面真实深度图像。

*  例如，当使用激光雷达传感器时，噪声存在于距离测量中，传感器之间的校准不可能是完美的，测量值通常比相机图像要稀疏得多。

在本文中，我们提出了一种新的方法，

*  用半监督的方式学习从单目图像中深度预测。
 *  虽然我们使用稀疏的ground-truth深度来进行监督学习，但我们也加强了我们的深度网络，使用直接图像对齐损失（a direct image alignment loss），在立体设置中生成与照片一致的稠密深度地图。

在实验中，我们证明了与先进的方法相比，从单一图像的深度地图预测性能优越。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

图1. 我们同时从不受监督和受监督的深度线索中训练CNN，以在**单张图像**深度预测中实现最新的性能。 对于有监督的训练，我们使用（**稀疏）来自诸如3D激光**等辅助传感提示的地面真实深度读数。 无监督的直接图像对齐，通过纯粹基于**立体图像**和**图像的预测深度图**的训练信号，对真值进行补充。

# 介绍 #

从**单张图像估计深度**是一个不适的问题，通常不能直接从下至上的几何线索直接解决。取而代之的是，需要使用有关对象的典型外观，布局和大小的先验知识，或者必须采用其他提示（例如来自阴影或焦点的形状），而在现实环境中很难建模。近年来，**监督式深度学习方法**已经证明了单图像深度预测的有希望的结果。这些学习方法似乎很好地捕捉了**外观**和到**物体的距离**之间的统计关系。然而，

*  有监督的深度学习需要**大量的训练数**据，以实现高精度并很好地推广到新颖的场景。

辅助深度传感器通常用于捕获地面真值。在室内设置中，可以使用主动式RGB-D摄像机。在户外，3D激光扫描仪是捕获深度测量的流行选择。然而，使用这样的感测设备具有几个缺点。

*  首先，传感器具有自己的**误差和噪声**特性，网络将学习这些特性。
 *  另外，当使用3D激光器时，测量值通常比图像**稀疏**得多，并且不能很好地捕获图像中可见的高细节深度变化。
 *  最后，需要对传感器进行精确的**外部和内部校准**。

地面真值数据可以替代地通过**深度图的合成**绘制来生成。但是，渲染的图像不能完全真实地显示场景，并且不包含真实的图像噪声特征。

最近，引入了**无监督方法**\[6，9\]，该方法可以直接在立体设置中（in a stereo setup）从强度图像中预测深度图，而无需使用其他补充方式来捕获地面真实情况。这些方法的一个缺点是众所周知的事实，即基于图像匹配的**立体深度重建**本身就是一个不适定的问题。为此，可以使用常见的**正则化方案**，其将**先验**强加于深度上，例如在实际环境中可能无法完全满足的**小的深度梯度范数（**small depth gradient norms**）**。

在本文中，我们提出了一种**半监督学习**方法，该方法

*  利用**有监督**和**无监督**的训练线索来**融合**两者的最好结果（to incorporate the best of both worlds）。

我们的方法得益于地面真值的测量，因为它可以明确表示场景中的实际深度（但嘈杂且稀疏）。无监督图像对齐通过大量额外的训练数据补充了地面真值，这些数据更容易获得并抵消了地面真相深度测量的不足。通过这两种方法的组合，我们在单幅图像深度图预测方面取得了比现有技术显着改善的效果，该预测是根据城市街道场景中流行的KITTI数据集\[7\]进行评估的。我们

*  基于此任务的**编码器-解码器体系结构**中最先进的**深度残差网络**为基础\[16\]，
 *  并使用编码器和解码器中相应层之间的**长跳连接**对其进行扩展，以预测高细节输出深度图。

我们的网络可以从**很少的监督训练数据**中迅速收敛到一个好的模型，这主要是由于使用了**预训练**的编码器权重（在ImageNet \[22\]分类任务上）和无监督的训练。有监督训练的使用也大大简化了无监督学习。例如，在我们的半监督方法中，不需要像以前的无监督学习方法\[6\]那样繁琐的**从粗到精细**的**图像对齐损失**。

总而言之，我们做出以下贡献：

*  1）我们提出了一种新颖的半监督深度学习方法，用于使用监督和无监督学习线索的单图像深度图预测。
 *  2）我们的深度学习方法以KITTI基准演示了在充满挑战的**户外**场景中的最新性能。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221120/8c95d2af5616416e9c3f3445182539b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201027224805687.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201027224838271.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ==,size_16,color_FFFFFF,t_70