论文笔记_S2D.21_2014-CVPR_单张图像的离散-连续深度估计

今天药忘吃喽~ 2022-12-17 12:57 153阅读 0赞

# 基本情况 #

*  题目：**Discrete-Continuous Depth Estimation from a Single Image**
 *  出处：Liu, M., Salzmann, M., & He, X. (2014). Discrete-continuous depth estimation from a single image. In *Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition* (pp. 716-723).

# 摘要 #

在本文中，我们在解决从**单张图像**估计**场景深度**的问题。这是一项具有挑战性的任务，因为单个图像本身无法提供任何深度提示。为了解决这个问题，我们利用已知深度的图像池。更具体地说，

*  我们将**单目深度估计**公式化为**离散连续优化问题**，
    
     *  其中**连续变量**编码输入图像中超像素的深度，
     *  而**离散变量**代表相邻超像素之间的关系。
 *  然后，通过使用**粒子置信度传播**在**图形模型**中进行推理，可以得出此离散连续优化问题的解决方案。通过使用具有已知深度的图像来计算该图形模型中的一元势。

我们展示了我们的模型在室内和室外场景下的有效性。我们的实验评估表明，我们的深度估计比标准数据集上的现有方法更准确。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

# 介绍 #

在本文中，我们解决从单个图像进行场景深度估计的问题。从单眼，静态视点估计一般场景的深度是一项非常具有挑战性的任务，因为无法利用可靠的线索，例如立体对应或运动。近年来，在从单个图像进行准确的3D场景重建方面已经取得了很大进展。例如，事实证明，

*  简单的几何假设（即盒子模型）可以有效地估算房间的布局\[9、17、27\]。
 *  类似地，对于室外场景（曼哈顿或街区世界），假设已用于执行3D场景布局估计\[7\]。

但是，这些盒模型仅限于表示简单的结构，因此不适合获取详细的3D重建。

相反，已经提出了几种方法来直接估计图像（超）像素的深度\[24、25\]。在这种情况下，表明利用其他信息源，例如用户注释\[22\]，语义标签\[18\]或重复结构\[30\]，可以帮助提高重建精度。不幸的是，此类附加信息通常不可用。因此，最近引入了非参数方法来处理这种情况\[13、15、16\]。给定输入图像，这些方法通过在已知深度的图像池中检索相似图像来进行。然后结合平滑约束使用所检索的候选的深度来估计深度图。尽管这已经取得了一些成功，如\[31\]在立体环境中所建议的，但梯度感知平滑策略通常无法很好地反映图像中观察到的真实3D场景。

在本文中，我们介绍了一种通过将**深度估计**建模为**离散连续优化问题**来解决此问题的方法。特别是，除了对输入图像中**超像素深度**进行编码的标准**连续变量**之外，我们还使用**离散变量**，这些变量允许我们对**相邻超像素之间的复杂关系**进行建模。然后，可以将深度估计表示为高阶离散连续图形模型中的推断。

更具体地说，给定输入图像，我们利用非参数方法来检索具有已知深度的图像数据集中的相似图像。我们利用这些图像的深度来构造模型中连续变量的数据项。此外，我们采用离散变量来编码相邻超像素之间的遮挡关系。几个离散变量的相互作用然后可以用结电势表示，结电势定义了无效的配置。这些离散的遮挡变量还使我们可以定义平滑度约束，以更好地反映真实场景。我们利用粒子置信度传播\[12，20\]在所得的高阶，离散连续图形模型中进行推理。

与通常考虑室内场景或室外场景的大多数现有方法相反，我们证明了在这两种情况下模型的有效性。我们的实验显示了离散连续公式的好处，该公式在NYU v2室内场景数据集\[28\]和Make3D \[25\]上产生了最先进的精度。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221122/eb2fde467af24739bd86b55f5d9bcd43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221122/9c16d0ae028f45249da686e1886efd4d.png