论文笔记_S2D.03-2012-BMVC-目标类别分割和稠密立体重建的联合优化

向右看齐 2022-11-26 09:52 141阅读 0赞

# 基本情况 #

*  题目：**Joint optimization for object class segmentation and dense stereo reconstruction**
 *  出处： Ladický L, Sturgess P, Russell C, et al. Joint optimization for object class segmentation and dense stereo reconstruction\[J\]. International Journal of Computer Vision, 2012, 100(2): 122-133.

## 摘要 ##

**稠密立体重建**和**对象类别分割**的问题都可以表述为基于**条件随机场**（Conditional Random Field，CRF）的**标记问题**(labelling problems)，其中为图像中的**每个像素**分配一个与其视差或对象类别（例如道路或建筑物）相对应的标记。 虽然这两个问题相互提供信息，但尚未尝试**共同优化其标签**。 在这项工作中，我们

*  提供了一个条理化的**能量最小化框架（**principled energy minimisation framework**）**，
 *  该框架统一了两个问题，并证明了通过解决现实世界数据中的歧义，共同优化两个问题可以显着提高性能。

为了评估我们的方法，我们扩大了鲁汶**街景数据集，**生成了70个带有手工标记的**对象类**和**视差图**。 我们希望这些注释的发布将刺激街景分析这一具有挑战性的领域的进一步工作。

## 介绍 ##

**对象类别分割**\[16、24\]的问题（将对象标签（例如道路或建筑物）分配给图像中的每个像素）以及**密集立体重建**（图像中的每个像素都用视差标记\[12\]），非常适合共同解决。两种方法都提出了一个问题，即

*  提供对**图像**的正确**标记**，作为对**条件随机场（CRF）的最大后验（MAP）**估计之一\[17\]，该条件通常是广义的**Potts截断线性模型（**Potts truncated linear mode**）**。
 *  因此，两者都可以使用基于**图割的移动制作算法**（graph cut based move making algorithms）（例如**a扩展**\[3\]）来解决标记问题。

这些问题应共同解决，因为正确标记**对象类别**可以**告知深度标记**，而**立体重建**也可以**改善对象标记**。为了在此陈述后提供一些直觉，请注意，对象类边界更可能在深度突然过渡时发生，反之亦然。此外，在地平面上方的点的高度是有关其类别标签的非常有用的提示，可以从深度计算得出。例如，道路或人行道位于地平面上，带有标签行人或汽车的像素必须位于地平面上方，而带有标签天空的像素必须位于距相机无限远的位置。图1显示了我们的模型，该模型明确捕获了这些属性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

图1：联合CRF的图形模型。 系统从已校正的立体图像对中，获取左（A）和右（B）图像。 我们的表述通过允许它们**之间的交互**来捕获对象类分割问题（E，第2.1节）和密集立体重构问题（F，第2.2节）之间的相互依赖性。 这些相互作用被定义为在两个问题的一元/像素（蓝色）和成对/边缘变量（绿色）之间起作用。 一元潜在对象（unary potentials）通过从我们的包含手部标记的**视差**（§5）的训练集中学习到的高度分布（G，eq。（3））进行链接。 成对的潜在对象（pairwise potentials）编码该对象类别的边界，并且视差的突然变化很可能一起发生。 通过组合优化，来近似的对象类别分割（C）和密集的立体声重建（D）。 请参阅§3和§4，以完整了解我们的模型，以及§6，以获取更多结果。 参考上图颜色。

对象**类别**识别产生有关**3D结构**的强大信息，如照片弹出窗口(photo pop-up)所示\[7，8，19，20\]。在这里，仅使用有关典型**拍摄场景的几何形状**的先验信息，以及可能在何处发生**物体边界**的知识，就可以从单个单目图像中重建场景的可能弹出窗口或平面模型。  
除此之外，许多任务都需要对象类和深度标签。为了使agent与世界互动，它必须能够识别对象及其物理位置。例如，基于摄像头的无人驾驶汽车必须能够区分道路和其他类别，还必须能够识别道路的终点。同样，几家公司\[6\]希望向地方当局提供资产的自动注释（例如路灯，排水沟或道路标志）。为了提供此服务，必须识别资产，将其定位在3D空间中，并估算所制造资产的质量。  
使用**对象标签**来通知**场景重建**并不是什么新鲜事。

*  前面提到的\[7\]的弹出方法明确使用了对象标签来辅助场景模型的构建，
 *  而3D布局CRF \[9\]将3D模型与对象实例进行了匹配。

然而，在\[7\]中，他们根据对象类别分割的结果建立了一个合理的模型，既没有共同解决这两个问题，也没有试图建立场景的精确3D重建，而在本文中我们共同估计了两者。

*  Hoiem等 \[9\]不仅将3D模型适合整个场景，而且仅适合特定对象，并且类似地，这些3D模型的目的是合理而非准确。
 *  Leibe等 \[18\]采用运动结构（SfM）技术来辅助跟踪和检测运动物体。但是，无论是物体检测还是获得的3D重建都没有对图像中的每个像素进行密集标记，并且跟踪和检测中的最终结果并未用于完善SfM结果。
 *  CamVid \[5\]数据集提供了稀疏的SfM线索，几种对象类分割方法\[5、25\]使用了这些线索来提供逐像素标记。在这些作品中，没有执行密集的深度标注，并且没有使用对象类别分割来**完善3D结构**。

所讨论的工作均未执行**联合推理**，以获得密集的立体声重建和对象类别分割。在这项工作中，我们证明了这些问题是相互有益的，并且可以从共同解决中受益。我们考虑了**市区的场景重建**问题\[18\]。这些场景包含对象类别，例如道路，汽车和天空，它们的3D位置有所不同。与通常在受控环境中生成的典型立体数据集相比，由于较大的**同质区域（**homogeneous regions**）**和**光一致性（**photo-consistency**）**问题，在此现实世界的数据上进行立体声重构显然更具挑战性。我们使用**a拓展(**a-expansion**)**方法\[3\]和**距离移动算法(**range move algorithms**)**\[14，26\]的变型，有效地解决了联合估计目标类别和深度的问题。

目前没有同时包含按像素的对象类和密集的立体数据的、公开的现实世界数据集。为了评估我们的方法，我们通过创建手标记的对象类和70张图像的视差图来扩充\[18\]的数据集。该数据集将向公众发布。我们的实验评估表明，密集立体重建和对象类别分割的联合优化可导致最终结果准确性的大幅提高。  
本文的结构如下：在第二部分中，我们给出了用于稠密图像标记(dense image labelling)的**CRF的一般表述**，并描述了它们如何可以用于对象类别分割和密集立体重构的问题。 第3节介绍了允许对这两个问题进行**联合优化的公式**，而第4节则说明了如何有效地**执行优化**。 数据集在第5节中介绍，实验验证在第6节中介绍。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221124/5520c26c338744bb9c035a22fa39165a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221124/1a02f6f53efb48f9b4a3b234fc9d5823.png