论文笔记_S2D.68_深度补全网络

旧城等待， 2022-10-11 03:59 223阅读 0赞

**目录**

基本情况

部分内容

1. 2. 2 深度补全网络

--------------------

# 基本情况 #

*  题目：三维视觉前沿进展
 *  作者：
 *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]
 *  出处：中国图象图形学报 2021.06
 *  全文链接：[www.cjig.cn/jig/ch/reader/create\_pdf.aspx?file\_no=20210608&flag=1&year\_id=2021&quarter\_id=6][www.cjig.cn_jig_ch_reader_create_pdf.aspx_file_no_20210608_flag_1_year_id_2021_quarter_id_6]

# 部分内容 #

## 1. 2. 2 深度补全网络 ##

与深度回归网络不同,深度补全网络考虑在有稀疏的深度作为输入时,如何估计出密集的深度图。近年来,“彩色图像 + 激光雷达”的数据获取系统是自动驾驶等应用场景中的常见配置,其中激光雷达获取的深度图在深度维度精度较高,但在空间维度非常稀疏,因此这一研究具有较高实用价值。 由于图像/ 深 度 填 充 ( Doria 和 Radke, 2012; Ferstl 等,2013)和超分辨率(Mac Aodha 等,2012;Kiechle 等,2013;Matsuo 和 Aoki,2015)所采用的输入深度与实际应用情况相比更为密集,本文将不再回顾深度填充和超分辨率的工作,而是着重回顾以稀疏深度作为输入的深度补全网络。

传统的编码解码型卷积神经网络对稀疏深度的预 测 效 果 较 差。 为 解 决 这 一 问 题, Uhrig 等 人(2017)提出了针对稀疏输入的稀疏不变卷积神经网络。 该网络引入一种新型的稀疏卷积层,该层根据输入像素的有效性对卷积核的元素进行加权。 此外,该像素的有效性将通过信息流传递到后续的卷积层中。 Huang 等人(2019a)将系数不变卷积层与编解码网络相结合,并使用跳跃链接连通编解码网络,使得稀疏不变运算结果能够在不同尺度之间进行融合。 Jaritz 等人(2018)同样采用带跳跃链接的编码解码网络来处理稀疏数据,不同的是在 NASNet(Zoph 等,2018) 做为编码网络的基础之上去除了第 1 个卷积层后的批归一化层,这是由于稀疏数据用零表示不存在的像素值,这会使批处理层中的平均计算出错。 Chen 等人(2018)在神经网络的训练中首先生成了二值掩膜用于表明真值深度图中的有效像素,而后生成了每个有效像素的最近邻填充以及二值掩膜的欧氏距离变换。 这些信息与图像共同作为编码解码网络的输入,而神经网络的输出是真值密集深度图和输入稀疏深度图的残差部分。 Chodosh 等人(2019)将从稀疏深度补全问题与压缩感知问题结合,提出使用一个端到端的多层字典学习算法作为网络模型,这种框架能够从内部实现优化,从输入中提取卷积后的稀疏特征,而后进行单目深度预测。

Ma 和 Karaman(2018)和 Liao 等人(2017)直接使用单个深度神经网络从 RGB 图像和稀疏的深度采样点中估计密集深度图。 该网络具有与编码解码网络相同的结构,以深度残差网络作为编码网络,以逆卷积层构成解码网络,输入为稀疏深度和图像在通道 维 度 上 的 叠 加。 在 后 续 的 工 作 中 ( Ma 等,2019),该网络在第 1 层中转化为两个独立的卷积自网络,分别从稀疏深度和图像中提取特征,同时在编码网络和解码网络之间加入了跳跃链接。 Shivakumar 等人(2019)在多分支输入编解码网络的基础之上进行了进一步改进,将图像、稀疏深度的分支扩展为两个完整的卷积神经网络,并在分支网络的末端增加空间金字塔池化层,而后合并输入解码网络。在解码网络部分,不同尺度的张量在经过逆卷积层后被分别提取、变形和堆叠,最终使用卷积层从堆叠的多尺度张量中回归达到深度图。 Xu 等人(2019)提出的网络由预测网络、距离变换模块和优化网络三维部分构成。 其中,预测网络采用多分支编码解码网络,以稀疏深度图和彩色图像作为输入,预测得到法向量、导向特征图、粗略深度图和置信度图。 而后,输入的稀疏深度图和粗略深度图被变换到平面原点的距离空间。 而后,该方法使用各向异性的扩散模块优化空间转化后的粗略深度图,并加强高置信位置上法向和深度之间的约束关系。 最后,优化后的深度图通过逆变换过程从平面原点空间还原为初始空间。 Hambarde 和 Murala(2020) 提出使用一个端到端的神经网络从单目图像和稀疏深度图估计密集的深度图。

Lu 等人(2020)提出一种通过稀疏深度获取完整深度的方法,将与深度对应的彩色图像作为参考监督项。 Park 等人(2020) 针对深度补全问题提出了一 种 非 局 部 的 空 间 传 播 网 络。 Cheng等 人(2020a)在卷积空间传播网络(Cheng 等,2018)的基础上提出一种以稀疏深度图和图像作为输入的深度预测网络。 该网络能够根据内容调整每个像素对应的卷积核尺寸和迭代次数,衍生出更高性能的内容感知网络和更快速度的资源感知网络。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221005/3c9b55beb74d468ab868e6e21ba815cc.png
[www.cjig.cn_jig_ch_reader_create_pdf.aspx_file_no_20210608_flag_1_year_id_2021_quarter_id_6]: http://www.cjig.cn/jig/ch/reader/create_pdf.aspx?file_no=20210608&flag=1&year_id=2021&quarter_id=6