论文笔记_S2D.16-2016-3DV-利用全卷积残差网络进行深度预测

曾经终败给现在 2022-12-05 12:10 191阅读 0赞

# 基本信息 #

*  题目：Deeper depth prediction with fully convolutional residual networks
 *  作者：Iro Laina 1, Christian Rupprecht 1;2 , Vasileios Belagiannis 3, Federico Tombari1;4, Nassir Navab1;2
    
     *  1 Technische Universitat M ¨ unchen, Munich, Germany ¨
     *  2 Johns Hopkins University, Baltimore MD, USA
     *  3 University of Oxford, Oxford, United Kingdom
     *  4 University of Bologna, Bologna, Italy
 *  引用：Laina, I., Rupprecht, C., Belagiannis, V., Tombari, F., & Navab, N. (2016, October). Deeper depth prediction with fully convolutional residual networks. In *2016 Fourth international conference on 3D vision (3DV)* (pp. 239-248). IEEE.
 *  开源代码：[https://github.com/iro-cp/FCRN-DepthPrediction][https_github.com_iro-cp_FCRN-DepthPrediction]

# 摘要 #

本文解决了在给定**单张RGB图像**的情况下估计场景深度图的问题。我们提出了一种包含残差学习的完全卷积架构，以对单眼图像和深度图之间的模糊映射建模。为了提高输出分辨率，我们提出了一种新颖的方法来有效学习网络中的特征图上采样。为了进行优化，我们引入了**反向Huber损耗（**the reverse Huber loss**）**，它特别适合当前任务，并且Huber损失会受到**深度图中通常存在的值分布**的驱动(drive)。我们的模型由经过端到端训练的单一体系结构组成，并且不依赖于**后处理技术**，例如CRF或其他附加的优化步骤。结果，它可以在图像或视频上实时运行。在评估中，我们表明，与现有技术相比，所提出的模型包含的参数更少，所需的训练数据更少，而在深度估计方面却胜过所有方法。代码和模型是公开可用的。

# 网络结构 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

## 上采样模块 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

[(论文阅读)Deeper Depth Prediction with Fully Convolutional Residual Networks][Deeper Depth Prediction with Fully Convolutional Residual Networks] :

*  使用小卷积代替大卷积，实现上采样
    
     *  首先我们先要明白，为什么作者这么做，传统的反卷积以及双线性插值到底存在什么问题。反卷积，得到的结果存在很强的棋盘效应。双线性插值，得到的结果边缘模糊，噪声很大。那么FCRN中采用小卷积代替大卷积，一方面，可以使棋盘效应降低，一方面，尽量的保留边缘信息。当然啦，依照FCRN中所说，可以提升其速度，毕竟这样可以减小参数嘛.
 *  在文章中，作者首先使用了上图的a结构，过2\*2的uppooling层，没有值的地方填补0，过5\*5的卷积，使让所有有0的地方都能被卷积到，过relu。据作者说，4个这种结构就行了，不需要反卷积到原来的尺寸。作者又在该基础上，设计了res-block的结构，也就是c。为什么这么设计，我也说不清楚，可能是做了skip模仿了别的结构，得到了比较好的结果吧。
 *  在设计完基础结构部分，作者对baseline结构做了改进，也就是fast版。因为上述结构中，存在uppooling的结构，这种方式得到的结果中很多0值，然后使用5\*5的卷积核，这让网络很难训练好，于是作者采用了小卷积的方式。作者使用了四种小卷积核，这四种小卷积核恰好能够包含5\*5卷积核的所有部分。卷积得到的结果可以大量减少0的出现。在拼接的时候作者记录了每个feature map上的位置，根据位置再上采样。将这种小卷积的结构替换掉unpooling就是fast up-projection。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

# 试验结果 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4][]

# 结论 #

在这项工作中，我们提出了一种从单一图像进行深度估计的新颖方法。与典型的CNN方法不同，该方法需要**多步过程**来完善其最初的粗略深度预测，而我们的方法则基于强大的单尺度CNN体系结构，该体系结构遵循**残差学习**。拟议的网络是完全卷积的，包括向上投影层，可用于训练更深的配置，同时大大减少了要学习的参数数量和所需的训练样本数量。此外，我们说明了向上卷积层的一种更快，更有效的方法。不仅对典型的l2损失进行了优化，而且还对b**erHu损失函数**进行了优化，从而对不同的建筑组件进行了全面评估，这表明它更适合于地面真实深度图的基础价值分布。总而言之，从我们的贡献中得出的模型不仅比现有方法更简单，可以在更少的时间内用更少的数据进行训练，而且可以获得更高质量的结果，从而使我们的方法在两个基准数据集中达到了最新水平，用于深度估计。

[https_github.com_iro-cp_FCRN-DepthPrediction]: https://github.com/iro-cp/FCRN-DepthPrediction
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221123/586615755d7b401d9d0ef6a879b13c7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221123/9e752688b896488c89402bc2b77c0da3.png
[Deeper Depth Prediction with Fully Convolutional Residual Networks]: https://blog.csdn.net/yjl9122/article/details/78670009
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20221123/c6ac76d64ffc4f898b2112f48f7e543a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: /images/20221123/572a9d72eaa1477d948a6541c6cd8c13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4]: /images/20221123/61e5855048af4c86a1f476de8d537310.png