论文笔记_S2D.27_2006-NIPS-从单目图像学习深度

约定不等于承诺〃 2022-12-18 03:56 149阅读 0赞

# 基本情况 #

*  题目：Learning depth from single monocular images
 *  出处：Saxena, A., Chung, S. H., & Ng, A. Y. (2006). Learning depth from single monocular images. In *Advances in neural information processing systems* (pp. 1161-1168).

# 1 摘要 #

我们考虑了从单目图像进行深度估计的任务。针对这个问题，我们采用了一种**监督学习**方法，首先收集一组单目图像(包括森林、树木、建筑物等非结构化室外环境的图像)和它们对应的地真深度图。然后，我们应用监督学习来预测深度图作为图像的函数。深度估计是一个具有挑战性的问题，因为**局部特征**单独不足以估计一个点的深度，需要考虑图像的**全局上下文**。我们的模型使用了一种**判别训练的马尔可夫随机场(MRF)**，它包含了**多尺度的局部**和**全局图像特征**，并对个别点的深度以及不同点深度之间的**关系**进行建模。我们表明，即使是在非结构化场景中，我们的算法经常能够恢复相当准确的深度地图。

# 2 介绍 #

从图像中恢复三维深度是计算机视觉的一个基本问题，在机器人技术、场景理解和三维重建等领域有着重要的应用。  
视觉三维重建的大部分工作都集中在**双目视觉**(立体视觉)\[1\]和其他需要多幅图像的算法上，如运动\[2\]的结构和离焦\[3\]的深度。  
单目图像深度估计是一项困难的任务，要求我们考虑图像的全局结构，并利用对场景的先验知识。  
在本文中，我们将监督学习应用于从森林、树木、建筑物、人、公共汽车、灌木丛等非结构化户外环境的单目图像中估算深度的问题。

在相关的工作中，

*  Michels, Saxena和Ng\[4\]使用监督学习来估计到障碍物的一维距离，用于自动驾驶遥控车的应用。
 *  Nagai等人\[5\]对已知的固定物体(如手和脸)的单一图像进行了表面重建。
 *  Gini & Marchi\[6\]使用单摄像头视觉来驱动室内机器人，但很大程度上依赖于已知的地面颜色和纹理。
 *  形状从阴影\[7\]提供了另一种方法的单眼深度重建，但很难适用于没有相当统一的颜色和纹理的场景。
 *  在我们独立完成的工作中，Hoiem、Efros和Herbert(个人通信)也考虑过单目三维重建，但主要是生成三维图形图像，而不是精确的度量深度地图。

在本文中，我们解决了从无约束环境的单一图像学习**全深度**地图的任务。

马尔可夫随机场(MRFs)及其变体是**机器学习**的重要工具，已成功地应用于许多局部特征不足、需要使用更多上下文信息的问题。  
示例包括文本分割\[8\]、对象分类\[9\]和图像标记\[10\]。为了建立图像中的空间依赖关系模型，Kumar和Hebert的判别随机场算法\[11\]使用**逻辑回归**来识别自然图像中的人造结构。因为MRF学习在一般情况下是棘手的，这些模型中的大多数是使用伪似然来训练的。

我们的方法是基于使用MRF捕获**深度**和**深度之间的关系**。我们首先使用一个3-D距离扫描仪来收集训练数据，这些数据包括大量的图像和相应的地面真实深度地图。利用该训练集，对**MRF**进行判别训练，以预测深度;  
因此，我们没有对图像特征和深度的联合分布建模，而是只对给定图像特征的深度的后验分布建模。  
我们的基本模型在MRF相互作用势中使用**L2(**高斯)项，并在多个空间尺度捕获深度和深度之间的相互作用。  
我们还提出了第二个使用L1 (Laplacian)相互作用势的模型。该模型的学习是近似的，但精确映射后验推理通过线性规划是可处理的(类似于高斯MRFs)，它给出的深度图明显优于简单的**高斯模型**。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221122/8c51d213f4e94757ad3ef706f0af982a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221122/b4596db3cb3240c4969a5762d6af1edd.png