论文笔记_S2D.34-2015-CVPR_从单张图像进行深度估计的深度卷积神经场

缺乏、安全感 2022-12-18 11:54 224阅读 0赞

# 基本情况 #

*  题目：Deep Convolutional Neural Fields for Depth Estimation from a Single Image
 *  出处：Liu, F., Shen, C., & Lin, G. (2015). Deep convolutional neural fields for depth estimation from a single image. In *Proceedings of the IEEE conference on computer vision and pattern recognition* (pp. 5162-5170).
 *  相似？：[论文笔记\_S2D.37\_2015-TPAMI\_使用深度卷积神经场从单目图像学习深度][S2D.37_2015-TPAMI] **Learning depth from single monocular images using deep convolutional neural fields**

# 摘要 #

我们在这项工作中考虑了从**单张单目图像**进行深度估计的问题。由于没有可靠的深度线索，例如**立声对应关系**，**运动**等，因此这是一项艰巨的任务。以前的工作一直集中在利用几何先验或其他信息源上，而所有这些都使用手工制作的功能。最近，越来越多的证据表明，深度卷积神经网络（CNN）的功能正在为各种视觉应用创造新记录。另一方面，考虑到**深度值的连续特性**，深度估计自然可以公式化为连续条件随机场（CRF）学习问题。因此，我们在本文中提出了一种**深度卷积神经场模型**，用于从单张图像估计深度，旨在共同探索**深层CNN**和**连续CRF**的能力。具体来说，我们提出了一种深度结构化的学习方案，该方案可以在统一的**深度CNN框架**中学习连续CRF的**一元势函数**和**二元势函数**（the unary and pairwise potentials）。

*  （注：**一元势**就是一个像素自身的能量，**二元势**就是两个相邻像素之间的能量。比如在图像分割中，二元势函数是一个惩罚项，对距离较近、特征相似的像素被设置为不同类标作出较大的惩罚。）

所提出的方法可以用于一般场景的深度估计，而无需几何先验或任何额外的信息注入。在我们的情况下，可以解析计算分区函数的积分，因此我们可以精确地解决**对数似然优化**。此外，由于存在封闭形式的解决方案，解决用于预测新图像深度的**MAP问题**非常有效。我们通过实验证明，该方法在室内和室外场景数据集上均优于最新的深度估计方法。

# 1 介绍 #

从描述一般场景的单幅单眼图像估计深度是计算机视觉中的一个基本问题，在视觉理解，3D建模，机器人等方面已发现了广泛的应用。这是一个臭名昭著的问题，因为一个捕获的图像可能对应许多现实世界的场景\[1\]。对于人类而言，从单个图像推断底层3D结构几乎没有什么困难，但是对于计算机视觉算法而言，这仍然是一项艰巨的任务，因为无法利用可靠的线索，例如时间信息，立体对应等。

*  先前的工作主要集中在执行**几何假设**，例如盒子模型，以推断房间\[2,3\]或室外场景\[4\]的空间布局。这些模型具有先天性限制，这些限制是仅对特定场景结构建模的限制，因此不适用于一般场景深度估计。
 *  后来，探索了**非参数方法**\[5\]，该方法包括候选图像检索，场景对齐，然后使用具有平滑性约束的优化进行深度推断。这是基于这样的假设，即具有语义相似外观的场景在密集对齐时应具有相似的深度分布。但是，该方法易于在不同的解耦阶段传播错误，并且严重依赖于构建合理大小的图像数据库来执行候选检索。
 *  近年来，已努力整合其他信息源，例如用户注释\[6\]，语义标签\[7,8\]。在\[8\]的最新工作中，**Ladicky等人**证明联合执行深度估计和语义标记可以互利。但是，所有这些方法都使用**手工制作**的功能。

与以前的工作不同，我们建议将**深度估计公式化**为一个**深层的连续CRF学习问题**，而无需依赖任何几何先验或任何额外信息。条件随机场（CRF）\[9\]是用于结构化预测的流行图形模型。虽然在分类（离散）域中进行了广泛研究，但对于回归（连续）问题，对CRF的探索较少。关于连续CRF的开创性工作之一可以归因于\[10\]，在该文献中它被建议用于文档检索的全球排名。在某些约束下，由于可以解析计算分区函数，因此它们可以直接解决**最大似然优化**。从那时起，连续CRF已用于解决各种**结构化回归**问题，例如遥感\[11,12\]，图像去噪\[12\]。受所有这些成功的启发，鉴于**深度值的连续性质**，我们在此建议将其用于深度估计，并学习深度卷积神经网络（CNN）中的潜在函数。

近年来，目睹了深度卷积神经网络（CNN）的繁荣。 CNN功能已经为各种视觉应用创造了新的记录\[13\]。尽管在分类问题上取得了所有成功，但针对结构化学习问题（即深度CNN和图形模型的联合训练）的探索较少，这是一个相对较新且尚未很好解决的问题。据我们所知，还没有成功地将这种模型用于深度估计。我们在这里通过共同探索CNN和连续CRF来弥合这一差距。

综上所述，我们重点介绍这项工作的主要贡献如下：

*  我们通过探索CNN和连续CRF，提出了**深度卷积神经场模型**用于深度估计。考虑到深度值的连续性质，可以解析计算**概率密度函数**中的分区函数，因此我们可以直接求解**对数似然优化**而无需任何近似。可以在反向传播训练中精确计算梯度。而且，由于存在封闭形式的解决方案，解决用于预测新图像深度的MAP问题是非常有效的。
 *  我们在统一的深度CNN框架中共同学习**CRF**的一元势函数和**二元势函数**，并使用反向传播对其进行了训练。
 *  我们证明了所提出的方法在**室内和室外**场景数据集上都优于深度估计的最新结果。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

## 本篇论文的优势： ##

①我们不采用任何这些启发式方法改进我们的结果，但我们就相对误差而言取得了更好的结果。  
②为了克服过拟合，其他方法必须收集数以百万计的带有附加标签的图像训练他们的模型。一个可能的原因是，他们的方法捕捉到绝对像素的位置信息，他们可能需要一个非常大的训练集覆盖所有可能的像素布局。相比之下，我们只使用没有任何额外数据的标准训练集，但我们获得相媲美，甚至更好的性能。  
③我们的模型只有一元项的时候，相当于带有模糊边界的粗糙预测。通过加入平滑项，我们的模型产生了更好的可视化，接近ground-truth

# 2 大体概括 #

由于目前对单幅单目图像进行深度估计并**没有合适的深度线索**，所以以前的工作一直专注于几何先验或者是有手工制作特征的额外信息来源。另外，深度值的连续性的特性使得深度估计可以很自然地看成是一个**连续的条件随机场CRF**学习问题，它不依赖于任何的几何先验和额外的信息。

所以这篇论文提出了一个**deep convolutional neural field model**，通过共同探索deep CNN和连续CRF的能力(*在统一deep CNN框架中学习连续CRF(使用CRF明确相邻超像素的关系)的一元和成对的势能*)，来进行估计单幅图像的深度(使用后向传播进行训练)。

此外，给定深度值的连续性，在概率密度函数中的分区函数(可积的)可以解析计算，因此，我们可以直接解决对数似然优化，而无需任何近似。

这篇论文所提出的方法可以用于一般场景的深度估计，这些场景没有任何几何先验或者额外的信息。此外，用**MAP方法**预测一幅新图像的深度，是高效的封闭式的解决方案。

## Deep convolutional neural fields ##

【注】除非另有说明，否则本篇论文使用粗体大写和小写字母分别表示矩阵和列向量

### ①Overview ###

我们假设一幅图像是由小的均匀区域（超像素）组成，图模型是由结点组成，超像素表示图中的结点。  
*由于框架具有灵活性，因此可以应用在像素和超像素上。*

每个超像素由它的质心(centroid)的深度所描述。我们使用**x**表示一幅图像， y = \[y1, . . . , yn\]T ∈ R\_n表示图像**x**中所有的n个超像素所对应的连续深度值的一个vector。

类似于**传统的CRF**，我们下边的密度函数来建立数据的条件概率分布模型。  
![在这里插入图片描述][20191124165157899.png]  
其中，E是势能函数(energy function);Z是配分函数(partition function)，被定义为：  
![在这里插入图片描述][20191124165333625.png]  
为了预测一个新图像的深度，we solve the maximum a posteriori(MAP) inference problem:  
![在这里插入图片描述][20191124170552542.png]

我们把势函数看成是**在结点（超像素）N的一元势能U和在图像X边缘的成对势能V的组合**：  
![在这里插入图片描述][20191124170718230.png]  
其中，一元项U的目的是回归单个超像素的深度值；成对项V鼓励有相似外观的邻近超像素采取相似的深度。我们的目标是在一个统一的CNN框架中，共同学习U和V.

整个网络由一元部分(a unary part)，成对部分(a pairwise part)和CRF损失层组成。  
首先将一个输入图像，分割(over-segment)成N个超像素，我们考虑image patches围绕每个超像素的质心。

The unary part

将所有image patches **resize**为224×224 pixels后作为输入，放到每一个CNN中，输出一个包括n个超像素回归深度值的n维向量。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

一元部分的网络由5个卷积和4全连接层组成。CNN的参数被所有的超像素共享。**注意各层的激活函数问题**  
一个image patch输出一个超像素的一维实数值。

The pairwise part

把所有**邻近超像素对**的相似向量（每个包括k个组件）作为输入，把它们放在全连接层（参数被不同的超像素对共享），然后输出一个包含每个相邻超级像素对的所有一维相似性的向量。

The CRF loss layer

从一元部分和成对部分输出值作为CRF损耗层的输入来最小化负对数似然函数。

这个模型两个潜在的优点是：  
1）实现平移不变性，因为我们构建一元势能不考虑超像素的坐标；  
2）成对势能由邻近超像素的关系组成

### ②Potential functions ###

一元势能Unary potential

![在这里插入图片描述][20191124174851681.png]  
这里，z\_p是由CNN参数θ参数化的超像素p的回归深度。

成对势能Pairwise potential

我们从相似观察值的K个类型构造成对势能，它们的利用邻近超像素的一致性信息执行平滑：  
![在这里插入图片描述][20191124180553425.png]  
其中，R\_pq表示一个相邻超像素对(p,q)在the pairwise part的输出，在这里我们使用一个全连接层：  
![在这里插入图片描述][20191124180608708.png]  
![在这里插入图片描述][20191124181301808.png]：第k个相似矩阵，它是对称的，其元素是![在这里插入图片描述][20191124181428363.png]  
![在这里插入图片描述][20191124181604782.png]是神经网络的参数。

To guarantee Z(x)is integrable, we require β\_k ≥ 0

我们通过颜色差异，颜色直方图差异和局部二进制模式（LBP）的纹理差距这三种类型来衡量成对相似性。其卷积形式为：![在这里插入图片描述][20191124182040971.png]=![在这里插入图片描述][20191124182317938.png]

### Learning ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70]由于在公式中的势能函数y的二次项和**A**的正定性，我们可以解析计算公式(2)这个配分函数的积分：  
![在这里插入图片描述][20191125162239163.png]  
则，根据公式(1),(10),(11),概率分布函数为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70 1]  
【注】  
x\_(i),y\_(i)指的是第i个训练函数和其对应的深度图。  
N是指训练图片的数量。  
λ1 and λ2 are weight decay parameters  
我们使用基于后向传播的随机梯度下降(SGD)来进行公式的优化

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70 2]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70 3]

### Implementation details ###

我们基于高效的CNN工具箱VLFeat MatConvNet1实现了网络的训练。6GB的GPU可能无法在同一时间处理所有图像块，因此我们把一幅图像的超像素图像块分成两部分。在实施过程中，我们使用从 ImageNet中训练的CNN模型，初始化图2中一元部分的前6层。首先，我们不通过固定前6层进行反向传播和训练网络的其余部分，然后我们执行60 epoches报告预训练结果（学习速率下降两倍），然后我们使用相同的动量和权重衰减训练整个网络。

### 实验结果对比 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

[S2D.37_2015-TPAMI]: https://blog.csdn.net/shyjhyp11/article/details/109299446
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221122/33bf0cb1b20649c685a6a468971e8eec.png
[20191124165157899.png]: /images/20221122/bc8b9b49e8454b659b214e05bf48a99e.png
[20191124165333625.png]: /images/20221122/42c301200518439a81680b4ae642593c.png
[20191124170552542.png]: /images/20221122/3173e43a4f3440acb46c0b30daa80c32.png
[20191124170718230.png]: /images/20221122/36875b89c241427c93641a794ff3535a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221122/1bb636bf290147e8990ee83f99492bbd.png
[20191124174851681.png]: /images/20221122/2c02ea81bae644a08d7fc01b97af2306.png
[20191124180553425.png]: /images/20221122/301374bbba254e5f916f4a4761cc0292.png
[20191124180608708.png]: /images/20221122/f383661506a14a6e884e9c5ce19225ff.png
[20191124181301808.png]: https://img-blog.csdnimg.cn/20191124181301808.png
[20191124181428363.png]: /images/20221122/bb53685351cc4d15bf49f5d84c0afe77.png
[20191124181604782.png]: /images/20221122/ffb36d9e9d334d51a45f8de3eda1a0c1.png
[20191124182040971.png]: https://img-blog.csdnimg.cn/20191124182040971.png
[20191124182317938.png]: /images/20221122/04ce8fae1dda488385d2d26a09d7d5c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70]: /images/20221122/3032fb2ca6ee4814803ee5d18768d082.png
[20191125162239163.png]: /images/20221122/2fa447d583a941fd868a1a4b9aeab6fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70 1]: /images/20221122/25d32915c33241a8a2a3965231c4f4e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70 2]: /images/20221122/32091e912ea641f9bc88ba135600fd36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDIyNDUzNw_size_16_color_FFFFFF_t_70 3]: /images/20221122/c2f0d69ded5441aba5f3f229636e7bd7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20221122/bf2c820b3dec4fb3aae9e32f029c1d49.png