论文笔记_S2D.37_2015-TPAMI_使用深度卷积神经场从单目图像学习深度

冷不防 2022-12-18 12:55 175阅读 0赞

# 基本情况 #

*  题目：**Learning depth from single monocular images using deep convolutional neural fields**
 *  出处：Liu, F., Shen, C., Lin, G., & Reid, I. (2015). Learning depth from single monocular images using deep convolutional neural fields. *IEEE transactions on pattern analysis and machine intelligence*, *38*(10), 2024-2039.
 *  开源代码：[https://github.com/raingo/dcnf-fcsp][https_github.com_raingo_dcnf-fcsp] （已失效）
    
     *  [https://bitbucket.org/fayao/dcnf-fcsp/src/master/][https_bitbucket.org_fayao_dcnf-fcsp_src_master]
     *  [https://github.com/ishanivyas/DCNF-FCSP][https_github.com_ishanivyas_DCNF-FCSP]
 *  相似？：[论文笔记\_S2D.34-2015-CVPR\_从单张图像进行深度估计的深度卷积神经场][S2D.34-2015-CVPR]

# 摘要 #

在本文中，我们解决了根据单眼图像进行深度估计的问题。与使用多个图像（如立体深度感知）的深度估计相比，单眼图像的深度更具挑战性。先验工作通常着重于利用**几何先验或其他信息源**，其中大多数使**用手工制作**的功能。最近，越来越多的证据表明，深度卷积神经网络（CNN）的功能为各种视觉应用创造了新记录。另一方面，考虑到**深度值的连续特性**，深度估计自然可以公式化为连续条件随机场（CRF）学习问题。因此，在这里，我们提出了一种深度卷积神经场模型，用于从单眼图像估计深度，旨在共同探索深层CNN和连续CRF的能力。特别是，我们提出了一种深度结构化的学习方案，该方案可在统一的深度CNN框架中学习连续CRF的一元和成对潜力。然后，我们进一步提出一个基于完全卷积网络的等效模型和一种新颖的超像素合并方法，该方法快约10倍，以加快深度模型中的逐块卷积。使用这种更有效的模型，我们能够设计更深的网络以追求更好的性能。

我们提出的方法可用于一般场景的深度估计，而**无需几何先验**，也无需注入任何额外信息。在我们的案例中，可以以**封闭形式（**in a closed form**）**计算分区函数的积分（the integral of the partition function），以便我们可以精确地求解**对数似然最大化**。此外，由于存在封闭形式的解决方案，解决用于预测测试图像的深度的推理问题非常有效。在室内和室外场景数据集上的实验表明，该方法优于最新的深度估计方法。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

# 介绍 #

从描绘一般场景的单眼图像估计深度信息是计算机视觉中的重要问题。事实证明，许多具有挑战性的计算机视觉问题都受益于深度信息的合并（仅举几个语义标签\[1\]，姿势估计\[2\]）。尽管当今高度发达的深度传感器（例如Microsoft Kinect）已经使RGBD图像的获取负担得起，但是视觉社区中通常评估的**大多数视觉数据集**仍然是RGB图像。此外，由于强烈的阳光会引起红外干扰并使深度信息变得非常嘈杂，因此**户外**应用仍**依赖LiDAR**或其他激光传感器。这引起了对从单个RGB图像估计深度这一主题的广泛研究兴趣。不幸的是，这是一个臭名昭著的问题，因为一个捕获的图像场景可能对应于许多现实世界场景\[3\]。

对于人类来说，从单个图像中推断底层3D结构是轻而易举的，但是对于自动化的计算机视觉系统而言，这样做仍然是一项艰巨的任务，因为无法利用可靠的线索，例如视频中的时间信息，立体声对应等。

这项工作主要集中于

*  执行几何假设，例如盒子模型，以推断房间\[4\]，\[5\]或室外场景\[6\]的空间布局。
    
     *  这些模型具有先天性限制，这些限制是仅对特定场景结构建模的限制，因此不适用于一般场景深度估计。
 *  最近，探索了非参数方法\[7\]，该方法包括候选图像检索，场景对齐，然后使用具有平滑性约束的优化进行深度推断。这是基于这样的假设，即在语义上相似的外观在密集对齐时应该具有相似的深度分布。
    
     *  但是，该方法易于在不同的解耦阶段传播错误，并且严重依赖于构建合理大小的图像数据库来执行候选检索。
 *  近年来，已经努力整合其他信息源，例如用户注释\[8\]，语义标签\[9\]，\[1\]。在\[1\]的最新工作中，Ladicky等人证明联合执行深度估计和语义标记可以互利。但是，所有这些方法都使用手工制作的功能。

与以前的努力相反，我们建议将深度估计**公式化**为**深度连续条件随机场（CRF）**学习问题，而不依赖任何几何先验或任何额外信息。 CRF \[10\]是用于结构化输出预测的流行图形模型。虽然在分类（离散）域中进行了广泛研究，但对于回归（连续）问题，对CRF的探索较少。关于连续CRF的先驱工作之一可以归因于\[11\]，其中有人提出将其用于文档检索的全球排名。在某些约束下，由于可以解析计算分区函数，因此它们可以直接解决最大似然优化。

从那时起，连续CRF已成功应用于解决各种结构化回归问题，例如遥感\[12\]，\[13\]，图像去噪\[13\]。受这些成功的推动，鉴于深度值的连续性质，我们在此建议将其用于深度估计，并学习深度卷积神经网络（CNN）中的潜在函数。

自Krizhevsky等人的突破性工作以来，近年来见证了深层CNN的繁荣\[14\]。 \[15\]。 CNN功能已经为各种视觉应用创造了新的记录\[16\]。尽管在分类问题上取得了所有成功，但针对**结构化学习**问题（即**深度CNN**和**图形模型**的联合训练）的探索较少，这是一个相对较新且尚未很好解决的问题。据我们所知，还没有成功地将这种模型用于深度估计。在这里，我们通过共同探索CNN和连续CRF来弥合这一差距，将这种新方法称为**深度卷积神经场**（DCNF）。最近已经研究了全卷积网络来解决密集的预测问题，例如语义标记\[17\]，\[18\]。基于完全卷积网络的模型具有高效训练和预测的优势。我们在这里利用这一进展来加快DCNF模型的训练和预测。

但是，由全卷积模型生成的特征图通常比输入图像大小小得多。这可能导致训练和预测方面的问题。在训练期间，需要对真实地图进行下采样，这可能会导致信息丢失，因为小物体可能会消失。在预测中，上采样操作可能会导致对象边界处的性能下降。因此，我们提出了一种新颖的**超像素池化**方法来解决这个问题。它共同利用了高效的全卷积网络的优势以及超像素在保留对象边界方面的优势。

综上所述，我们重点介绍这项工作的主要贡献如下。

*  我们通过探索CNN和连续CRF，提出了**深度卷积神经场（DCNF）模型**用于深度估计。考虑到深度值的连续性质，可以解析计算**概率密度函数**中的**分区函数**，因此我们可以直接求解**对数似然优化**而无需任何近似。可以在反向传播训练中精确计算梯度。而且，由于存在封闭形式的解决方案，解决用于预测新图像深度的**MAP问题**是非常有效的。
 *  我们在统一的深度CNN框架中共同学习CRF的一元和成对潜力，并使用反向传播对其进行了训练我们提出了一种基于全卷积网络和新颖的超像素合并方法的更快模型，该模型可将速度提高约10倍，同时产生相似的预测精度。使用这个更有效的模型（我们称为DCNF-FCSP），我们能够设计非常深的网络以获得更好的性能。
 *  我们证明了所提出的方法在室内和室外场景数据集上都优于深度估计的最新结果。

# 网络结构 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

# 预测结果 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5][]

[https_github.com_raingo_dcnf-fcsp]: https://github.com/raingo/dcnf-fcsp
[https_bitbucket.org_fayao_dcnf-fcsp_src_master]: https://bitbucket.org/fayao/dcnf-fcsp/src/master/
[https_github.com_ishanivyas_DCNF-FCSP]: https://github.com/ishanivyas/DCNF-FCSP
[S2D.34-2015-CVPR]: https://blog.csdn.net/shyjhyp11/article/details/109296071
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221122/962b3b4450a74525a4bfaa936822639d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221122/bcc77f38d16f48e2982df19cb615f717.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20221122/4e49b3a9d6c94fbba660b73c843c0bc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: /images/20221122/e90dfddee18a46dab7dc56511b872bd8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4]: /images/20221122/2610f9c0ac7e451bb273182052aaccf8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5]: /images/20221122/6bdd168d3a0e452f99e4597ae380032c.png