【论文解读】MV3D-Net 用于自动驾驶的多视图3D目标检测网络

Myth丶恋晨 2022-08-31 02:23 153阅读 0赞

## 前言 ##

MV3D-Net融合了视觉图像和激光雷达点云信息；它只用了点云的俯视图和前视图，这样既能减少计算量，又保留了主要的特征信息。随后生成3D候选区域，把特征和候选区域融合后输出最终的目标检测框。

论文地址：[Multi-View 3D Object Detection Network for Autonomous Driving][]

开源代码：[https://github.com/bostondiditeam/MV3D][https_github.com_bostondiditeam_MV3D]

**目录**

一、框架了解

1.1 网络的主体部分

1.2 网络的融合部分

二、MV3D的点云处理

2.1 提取点云俯视图

2.2 提取点云前视图

三、MV3D的图像处理

四、俯视图计算候选区域

五、特征整合

六、特征融合

七、模型效果

八、模型代码

--------------------

## 一、框架了解 ##

先看下总体网络结构：（可以点击图片放大查看）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70][]

上图中的紫色圆圈中M是表示 ：基于元素的均值。

输入的数据：有三种，分别是点云俯视图、点云前视图和二维RGB图像。“点云投影”，其实并非简单地把三维压成二维，而是提取了高程、密度、光强等特征，分别作为像素值，得到的二维投影图片。

输出数据：类别标签、3D边界框、时间戳。

### 1.1 网络的主体部分 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 1][]

思路流程：

**1）提取特征**

*  **a. 提取点云俯视图特征**
 *  **b. 提取点云前视图特征**
 *  **c. 提取图像特征**

**2）从点云俯视图特征中计算候选区域**

**3）把候选区域分别与1）中a、b、c得到的特征进行整合**

*  **a. 把俯视图候选区域投影到前视图和图像中**
 *  **b. 经过ROI pooling整合成同一维度**

### 1.2 网络的融合部分 ###

这部分网络主要是：把整合后的数据经过网络进行融合

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 2][]

## 二、MV3D的点云处理 ##

MV3D将点云和图片数据映射到三个维度进行融合，从而获得更准确的定位和检测的结果。这三个维度分别为点云的俯视图、点云的前视图以及图片。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 3][]

### 2.1 提取**点云俯视图** ###

点云俯视图由**高度**、**强度**、**密度**组成；作者将点云数据投影到分辨率为0.1的二维网格中。

**高度图**的获取方式为：将每个网格中所有点高度的最大值记做**高度特征。**为了编码更多的高度特征，将点云被分为M块，每一个块都计算相应的高度图，从而获得了**M个高度图**。

**强度图**的获取方式为：每个单元格中有最大高度的点的映射值。

**密度图**的获取方式为：统计每个单元中点云的个数，并且按照公式：

![20210722162756197.png][]

其中N为单元格中的点的数目。强度和密度特征计算的是整个点云，而高度特征是计算M切片，所以，总的俯视图被编码为（M + 2）个通道的特征。

### 2.2 提取点云前视图 ###

由于激光点云非常稀疏的时候，投影到2D图上也会非常稀疏。相反，作者将它投影到一个圆柱面生成一个稠密的前视图。 假设3D坐标为：

![20210722163206219.png][]

那么前视图坐标：

![20210722163229911.png][]

可以通过如下式子计算

![20210722163926558.png][]

## 三、MV3D的图像处理 ##

采用经典的VGG-16来提取图像特征，这里就不过多说明了。

## 四、俯视图计算**候选区域** ##

物体投射到俯视图时，保持了物体的物理尺寸，从而具有较小的尺寸方差，这在前视图/图像平面的情况下不具备的。在俯视图中，物体占据不同的空间，从而避免遮挡问题。

在道路场景中，由于目标通常位于地面平面上，并在垂直位置的方差较小，可以为获得准确的3Dbounding box提供良好基础。

候选区域网络就是熟悉的RPN。[参考][Link 1]

## 五、特征整合 ##

把候选区域分别与提取的特征进行整合

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 4][]

流程：

*  **a. 把俯视图候选区域投影到前视图和图像中**
 *  **b. 经过ROI pooling整合成同一维度**

## 六、特征**融合** ##

有了整合后的数据，需要对特征进行融合，最终得到类别标签、3D边界框。

作者介绍了三种不同的融合方式，分别为

*  a、Early Fusion 早期融合
 *  b、Late Fusion 后期融合
 *  c、Deep Fusion 深度融合。

各自的结构如下图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 5][]

上图中的紫色圆圈中M是表示 ：基于元素的均值。C是表示：串接。

最终选择了Deep Fusion 深度融合。融合的特征用作：分类任务（人/车/...）、更精细化的3D Box回归（包含对物体**朝向**的估计）。

## 七、模型效果 ##

和其他模型对比的数据：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 7][]

检测效果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 8][]

## 八、模型代码 ##

代码地址：[https://github.com/bostondiditeam/MV3D][https_github.com_bostondiditeam_MV3D]

作者使用KITTI提供的原始数据，点击[链接][Link 2]

![20210722170818821.png][]

上图是用于原型制作的数据集 。

我们使用了\[同步+校正数据\] + \[校准\]（校准矩阵）+ \[轨迹\]（）

所以输入数据结构是这样的：

![20210722170924611.png][]

运行 src/data.py 后，我们获得了 MV3D 网络所需的输入。它保存在kitti中。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 9][]

上图是激光雷达俯视图（data.py后）

![20210722171039203.png][]

上图是将 3D 边界框投影回相机图像中。

输入具体数据格式可以参考'data.py' ['data.py' 网址][data.py_]

本文参考：[https://zhuanlan.zhihu.com/p/86312623][https_zhuanlan.zhihu.com_p_86312623]、[https://zhuanlan.zhihu.com/p/353955895][https_zhuanlan.zhihu.com_p_353955895]

[https://cloud.tencent.com/developer/news/223860][https_cloud.tencent.com_developer_news_223860]

--------------------

![20210722182045513.png][]

论文地址：[Multi-View 3D Object Detection Network for Autonomous Driving][]

代码地址：[https://github.com/bostondiditeam/MV3D][https_github.com_bostondiditeam_MV3D]

本文只提供参考学习，谢谢。

[Multi-View 3D Object Detection Network for Autonomous Driving]: https://arxiv.org/abs/1611.07759
[https_github.com_bostondiditeam_MV3D]: https://github.com/bostondiditeam/MV3D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70]: /images/20220829/a0d7437661d74704bcc7b993b1e333d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 1]: /images/20220829/e565629daf2049b7875dc0738d0f22cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 2]: /images/20220829/565faa47f262469c87bb958fedb3a7ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 3]: /images/20220829/b3d3bc5b24b8461ca2b3731aedaaa840.png
[20210722162756197.png]: /images/20220829/3dca5208d36447af98aca78d631ac7b8.png
[20210722163206219.png]: /images/20220829/61670e4427fc4db99dd16ae1c9538334.png
[20210722163229911.png]: /images/20220829/9c756cc046e549088e0321ebace49566.png
[20210722163926558.png]: /images/20220829/8c056bf48bc147d28c1d6b1196269170.png
[Link 1]: https://blog.csdn.net/lanran2/article/details/54376126
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 4]: /images/20220829/0c4331c218e2497ca039c67d3ce4fb9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 5]: /images/20220829/9cf015d021aa438092d5103f08c46e31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 6]: /images/20220829/2ff61b1fa62c41feaaabbe2db04cf4bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 7]: /images/20220829/44d032f7e5ab4ad68f0ef415216afb78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 8]: /images/20220829/be69bfd7394d4c539a3c264623147ed0.png
[Link 2]: https://www.google.com/url?q=http://www.cvlibs.net/datasets/kitti/raw_data.php&sa=D&source=editors&ust=1626942267325000&usg=AOvVaw1y2yY8LPsMmzXtL4sPKikh
[20210722170818821.png]: /images/20220829/966ecc6f653b416d830872e498b7d1a0.png
[20210722170924611.png]: /images/20220829/a09d1f7bf5bd4a9e82855630669990ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMjA0NDY0_size_16_color_FFFFFF_t_70 9]: /images/20220829/5d6b9803b63f4ce087432405cbf2bc64.png
[20210722171039203.png]: /images/20220829/fcf667548337414c860b7f129f1d38f6.png
[data.py_]: https://www.google.com/url?q=https://github.com/bostondiditeam/MV3D/blob/master/src/data.py&sa=D&source=editors&ust=1626942267328000&usg=AOvVaw0o334dfESQav-kjC5ptPAO
[https_zhuanlan.zhihu.com_p_86312623]: https://zhuanlan.zhihu.com/p/86312623
[https_zhuanlan.zhihu.com_p_353955895]: https://zhuanlan.zhihu.com/p/353955895
[https_cloud.tencent.com_developer_news_223860]: https://cloud.tencent.com/developer/news/223860
[20210722182045513.png]: /images/20220829/8544828670394732857e928445d1bfd6.png