论文笔记_S2D.42_2018-CRV_为经典图像处理辩护:在CPU上的快速深度补全

悠悠 2022-11-21 14:52 155阅读 0赞

# 基本情况 #

*  题目：In Defense of Classical Image Processing: Fast Depth Completion on the CPU
 *  出处：Ku, J., Harakeh, A., & Waslander, S. L. (2018, May). In defense of classical image processing: Fast depth completion on the cpu. In *2018 15th Conference on Computer and Robot Vision (CRV)* (pp. 16-22). IEEE.
 *  开源代码：[https://github.com/kujason/ip\_basic][https_github.com_kujason_ip_basic]

# 介绍 #

论文《In Defense of Classical Image Processing: Fast Depth Completion on the CPU》提出了一种用**经典的图像处理算法**进行深度补全的算法，不依赖于任何训练数据，没有使用深度学习模型。

## 主要贡献： ##

*  1.提出了一种快速的**深度补全**的算法，能从**稀疏的激光**扫描的深度图中恢复完整的深度图，并且在CPU上可达到90Hz的频率。该算法的效果在KITTI depth completion benchmark中排名第一（公布时）；
 *  2.该算法的表现超越了其他现有的CNN算法。

### 本文提出的算法一种包含8个步骤： ###

（1）Depth Inversion：对于稀疏图像的处理机制是应用OpenCV的**形态学操作**，用较大的像素值覆盖较小的像素值。数据集KITTI raw depth map，深度值范围在**0~80米**之间，没有有效深度值的位置用0填充。在这种情况下，如果直接应用膨胀操作会使大距离覆盖掉小距离，从而导致较近对象的边缘信息丢失。为了解决这个问题，将有效深度做一个invert，即D(inverted) = 100.0-D(input)，这样在有效深度和空值之间有一个20m的buffer。

（2）Custom Kernel Dilation（用自定义的核进行**膨胀操作**）：先填充最接近有效像素值的空值，关键在于kernel形状的设计，要使得最可能具有相同深度值的像素被填补。因此在这一步采用的是5\*5的菱形kernel，形状如下图：

![70][]

（3）Small Hole Closure（对小的空洞进行**闭运算**）：经过第一步的膨胀操作后，仍任有一些小孔，由于这些区域没有有效深度值，考虑到物体的结构，发现膨胀后相邻的深度可以连接起来形成物体的边缘。因此在这一步用一个5\*5的full kernel进行闭运算，连接相邻的深度值，填补小孔。

![70 1][]

（4）Small Hole Fill（**小孔填充**）：经过前面的步骤，深度图中仍然有一些小到中等size的洞没有被前填充。为了填补这些洞，首先计算一个空像素的mask，然后再进行7×7全内核膨胀操作。这个操作只会填补空像素，同时保持先前计算过的有效像素不变。

（5）Extension to Top of frame（**延伸**到顶部）：考虑一些比较高的物体，如树木建筑物等，都到达了LiDAR点云的顶端。为了补齐这些物体的深度，将每一列的顶端的像素值向上延伸。

（6）Large Hole Fill（**大洞填充**）：这一步来填充一些比较大的洞。用一个31\*31的full kernel来进行膨胀操作，将所有仍然为空值的深度值填充起来，而其他位置的有效深度值不变。

（7）Median and Gassian Blur（**中值/高斯模糊**）：前面步骤中的膨胀操作会引入一些噪声，为了去除这些噪声，先使用5\*5 kernel的中值模糊，去除局部边缘的离群点。然后，再用5\*5的kernel进行高斯模糊，对局部平面进行平滑，平滑尖锐的物体边缘。

（8）Depth Inversion：算法的最后一步是将前几步所使用的**倒置深度值**恢复到原来的深度编码，即D(inverted) = 100.0-D(input)。

综上，这个算法的设计思想采用了一种**贪婪的策略**，有效深度周围的空值可能具有相似的值，所以采用了先填充小hole在填充大hole的顺序，最后减少输出噪声和平滑局部平面。膨胀操作的关键在于kernel形状和大小的设计。size太大，填充的深度值大于实际其作用区域；太小，膨胀不足以使边缘通过后期的闭运算连接起来。

## 试验效果 ##

最后，来欣赏一下实验效果（KITTI depth completion数据集）：

![70 2][]

将深度图投影到3D，分别为原始的velodyne扫描的深度图和经过算法补全后的深度：

![70 3][]

![70 4][]

效果还是棒棒哒~

## 存在问题 ##

However，个人认为还是存在一些问题：

（1）LiDAR扫描的深度数据虽然是稀疏的，但是是**比较均匀的稀疏**分布（见实验效果图的第一张），所以用这种“先补小洞再补大洞”的策略是可以取得比较好的效果的，但对于其他稀疏分布不均匀的数据，效果并没有这么好（个人用**DSO****跑出来的深度图**做了depth completion，不如人意）。

（2）LiDAR扫描的深度数据只在**图像的底部大约2/3的区域**有有效深度，所以诸如**天空**这种存在于图像顶部的物体可能基本没有有效深度。算法将稀疏输入中每一列**顶端的有效深度向上延伸**，尽管这种策略并不十分合理，但从3D投影的结果来看，效果还是很不错的。尽管在实际应用中我们可能只关注车道上的车辆，并不关心天空，但这种策略给**填补较远处的深度**提供了一个好的思路。

# 参考 #

[【论文详解】In Defense of Classical Image Processing: Fast Depth Completion on the CPU][In Defense of Classical Image Processing_ Fast Depth Completion on the CPU]

[https_github.com_kujason_ip_basic]: https://github.com/kujason/ip_basic
[70]: /images/20221120/1925ef826ce841efafab194028665a39.png
[70 1]: /images/20221120/06627e0affa04081b6e8b381ffe3a0c0.png
[70 2]: /images/20221120/50bcedf0559c434190de8f37a3471770.png
[70 3]: /images/20221120/f0d1cbc23fa44b35a0245adacb984070.png
[70 4]: /images/20221120/cc47af93f64d4ac190c7a45697615a3e.png
[In Defense of Classical Image Processing_ Fast Depth Completion on the CPU]: https://blog.csdn.net/LCJhust2012/article/details/81356230