论文笔记_S2D.08-2019-ICRA-使用非对称标注实时联合语义分割和深度估计

待我称王封你为后i 2022-11-28 13:42 101阅读 0赞

**目录**

论文基本情况

摘要

I. 介绍

II. 相关工作

III. 方法

A. Backbone Network

B. Joint Semantic Segmentation and Depth Estimation

C. Expert Labeling for Asymmetric Annotations

IV. 试验结果

A. NYUDv2

B. KITTI

V. EXTENSIONS

A. Single Model - Three Tasks

B. Single Model - Two Datasets, Two Tasks

C. Dense Semantic SLAM

VI. 总结

参考

--------------------

# 论文基本情况 #

*  题目：Real-time joint semantic segmentation and depth estimation using asymmetric annotations
 *  作者：
    
     *  Vladimir Nekrasov1, Thanuja Dharmasiri2, Andrew Spek2, Tom Drummond2, Chunhua Shen1 and Ian Reid1
     *  1School of Computer Science, University of Adelaide, Australia 2Monash University, Australia
 *  出处：2019-ICRA
 *  引用：Nekrasov, V., Dharmasiri, T., Spek, A., Drummond, T., Shen, C., & Reid, I. (2019, May). Real-time joint semantic segmentation and depth estimation using asymmetric annotations. In *2019 International Conference on Robotics and Automation (ICRA)* (pp. 7101-7107). IEEE.
 *  改进自论文：Nekrasov 2018年的文章 [Light-Weight RefineNet for Real-Time Semantic Segmentation][]

# 摘要 #

将深度学习模型部署在机器人技术中作为感觉信息提取器可能是一项艰巨的任务，即使使用通用GPU卡也是如此。在这里，我们解决了三个最突出的障碍，即：

*  i）适应单个模型以一次执行**多个任务**的工作（在这项工作中，我们认为深度估计和语义分割对于获取场景的几何和语义理解至关重要） ，
 *  ii）**实时**进行，并且
 *  iii）使用**非对称数据集（**asymmetric datasets**）**，每个模态（modality）的注释数量不均匀。

为了克服前两个问题，我们采用了最近提出的实时语义分割网络，进行了少量更改以进一步减少浮点运算的数量。

为了解决第三个问题，我们假设在可以访问强大的**“教师”网络（**‘teacher’ network**）**的前提下，采用基于**硬知识提炼（**hard knowledge distillation**）**的简单解决方案。最后，我们展示了如何轻松扩展我们的系统以一次处理更多任务和更多数据集。

从数量上看，在NYUDv2-40上使用单一模型，我们达到42％的平均iou，56万RMSE（对数）和0.20 RMSE（对数），在KITTI- 6用于分段，KITTI用于深度估计，其中前向通过仅花费17ms，在1200×350输入上仅花费6.45 GFLOP。所有这些结果都等于（或优于）当前的最新方法，这些方法是通过较大和较慢的模型分别解决每个任务而实现的。

# I. 介绍 #

随着深度学习显示出令人印象深刻的结果的**任务数量在范围和多样性上**不断增长，达到这种结果的**模型的数量**也不断增加，这使从业人员更难以部署需要**一次执行多个任务**的复杂系统。对于一些紧密相关的任务，这样的部署不会带来重大障碍，除了结构相似之外，这些任务还**倾向于共享相同的数据集**，例如图像分类，对象检测和语义分割的情况。另一方面，诸如分割和深度估计之类的任务**很少（完全）共享**同一数据集。例如，NYUD数据集\[1\]，\[2\]包含用于深度估计（depth estimation）的一大批注释，但仅包括一小部分 segmentations 标记的细分。只要存在针对该任务的 ground truth 注释，就可以通过简单地更新每个任务的参数来轻松解决此问题。不幸的是，由于不平衡和有偏差的梯度更新，这通常导致次优结果。我们注意到，虽然目前尚不清楚如何在最一般的情况下处理这种情况，但在本文中，我们假设我们可以访问一个大型且强大的模型，该模型可以进行有益的预测以获取丢失的标签。对于单独考虑的每个任务，此假设通常是有效的，我们利用它来预测缺失的分割掩码。

出现的另一个问题是在机器人技术和自治系统中必须**实时**提取感官信息。尽管有许多成功的方法可以加快单个任务的速度\[3\]-\[5\]，但几乎没有任何以前的工作可以实时**并行执行**多个任务。在这里，我们展示了如何在几乎没有体系结构更改且没有任何复杂管线的情况下，实时执行深度估计和语义分割这两个任务。

我们选择任务的原因是，对于各种机器人应用而言，对于机器人（代理）来说，了解其周围环境的**语义**并感知到场景中表面的**距离**非常重要。所提出的方法很简单，与大型模型相比，具有竞争优势。此外，我们认为，没有什么可以阻止从业者和研究人员将我们的方法用于更多任务的，这反过来又会导致在实际应用中**更好地利用**深度学习模型。为了证实这一说法，我们进行了另外的**实验**，除了深度和分割之外，还预测了表面法线。此外，我们成功地训练了一个模型，该模型可以在室内和室外设置中一次执行深度估计和语义分割。在另一个案例研究中，我们证明了我们联合网络的原始输出（分割和深度）可以直接在SemanticFusion框架内使用\[6\]来估计场景的**密集语义3D重构**。

总结我们的导言，我们再次强调我们的结果表明，当一个小型网络可以实现相同的性能时，就无需非关键性地部署多个昂贵的模型-一个案例要优于两个案例！

# II. 相关工作 #

我们的工作与几个主题密切相关。其中包括多任务学习，语义分割，深度估计和知识提取(knowledge distillation)。

根据经典的多任务学习范例，强制单个模型同时执行多个相关任务可以通过在学习的表示上施加**归纳偏差**(inductive bias)来提高通用性\[7\]，\[8\]。这种方法假定所有任务在学习特定于任务的参数之前都使用共享表示。计算机视觉方面的多项工作都遵循了这一策略。特别是，

*  Eigen＆Fergus \[9\]训练了一个**单一的体系结构**（但是具有不同的副本）来预测深度，表面法线和语义分割，
 *  Kokkinos \[10\]提出了一个**通用网络**来解决7种不同的视觉任务，
 *  Dvornik等人 \[11\]发现进行**联合**语义分割和对象检测是有益的，
 *  而Kendall等人 \[12\]认识到**同时执行**实例分割，语义分割和深度估计的最佳权重。
 *  为了缓解**注释不均衡**的问题，Kokkinos \[10\]选择**累积**每个任务的**梯度**（accumulate the gradients），直到看到每个任务有一定数量的示例（example）为止，而Dvornik等人则选择了这种方法。
 *  \[11\]在没有完整可用的 ground truth 时，只是诉诸于保留**分支**（keep the branch），直到至少有一个这样的模态的例子被发现。

我们注意到，这些方法都没有为每个单独的任务使用已经存在的模型，除BlitzNet \[11\]以外，没有其他方法可以实现实时性能。相反，我们展示了如何利用大型的预训练模型来获得更好的结果，以及如何进行实时推理。

**语义分割**是为每像素标签分类的一项任务，近年来，大多数方法都围绕着将**图像分类网络**改编为能够在不同大小的输入上运行的全卷积网络的想法\[13\] – \[15\]。具有良好性能的此类网络的实时使用并非易事，目前尚无可用的方法\[5\]，\[16\] – \[18\]。我们选择了最近在**MobileNet-v2** \[19\]之上提出的 [Light-Weight RefineNet ][Light-Weight RefineNet for Real-Time Semantic Segmentation]\[18\]作为我们的基准体系结构，因为它在标准基准数据集PASCAL VOC \[20\]上实时显示出稳定的性能，而少于4M参数。

**深度估计**是每个像素的另一项任务，其目的是确定每个像素**距观察者**的距离。

*  传统上，基于图像的深度重建是使用**基于SLAM**的方法进行的\[21\] – \[23\]。
 *  但是，最近的**机器学习**方法取得了令人印象深刻的结果，其中CNN已成功采用监督学习\[9\]，\[24\]-\[26\]，无监督学习\[27\]，\[ 28\]和半监督学习\[29\]。
 *  Eigen＆Fergus \[9\]**首先**解决了从**单个图像**预测包括深度在内的多个数量的问题。
 *  Dharmasiri等\[30\]证明，与利用三个独立的网络相比，**以深度、表面法线和表面曲率的形式**预测相关的结构信息可提高所有三个任务的性能。
 *  最近，齐等人 \[31\]发现**直接编码几何结构**作为网络体系结构的一部分以同时执行深度估计和表面法线估计是有益的。

我们的方法与以前的工作有两个根本不同。首先，我们的网络在每个任务上都表现出实时性能。其次，我们展示了如何有效地将不对称和不均匀的地面实况注释纳入训练体系。此外，应该指出的是，尽管使用了实时运行的较小模型，但我们在数量上仍胜过这些方法。

最后，我们简要介绍一下**知识提炼方法（**knowledge distillation**）**\[32\]-\[35\]，

*  其基础是拥有一个**大型的预训练教师（专家）网络**（或一组网络），并使用其多元逻辑（logit）或预测，直接作为小型网络的指导信号以及原始标签。
 *  先前的一些工作依靠知识提取（knowledge distillation）来获取**缺失的数据**\[36\]，或作为**正则化项（**a regulariser term**）**\[37\]，\[38\]。
 *  尽管这些与我们的工作有关，但我们在几个方面有所不同：最值得注意的是
    
     *  Zamir等\[36\]需要**不同的网络副本**来完成不同的任务，
     *  而霍夫曼等人 \[37\]和Li＆Hoiem \[38\]仅考虑**单个任务学习**（分别是对象检测和图像分类）。

# III. 方法 #

虽然我们主要讨论仅涉及两个任务的情况，但是相同的机制适用于更多任务，如Sect. V-A 中所示。

## A. Backbone Network ##

如前一节所述，我们采用了最近提出的基于轻型Light-Weight-RefineNet架构\[18\]，该架构建立在MobileNet-v2分类网络\[19\]之上。这种架构通过附加几个简单的上下文块（称为链式残差池化（Chained Residual Pooling, CRP）\[39\]）扩展了分类器，该块由一系列5×5最大池和1×1卷积组成（图1）。

即使原始结构已经实现了实时性能并且具有少量参数，但对于深度估计和语义分割（共40个类）的联合任务，在640×480大小的输入上仍需要14个以上的浮点运算（GFLOP），这可能会阻碍它。我们发现，**最后一个CRP块**负责处理FLOP的一半以上，因为它处理高分辨率特征图（原始分辨率为1/4）。因此，(**创新点：**)为了减小其影响，我们将最后一个CRP块中的**1×1卷积替换为其深度等效值**（即，替换为**分组卷积**，其中组数等于输入通道数）。通过这样做，我们将**操作数量**减少了一半以上，减少到6.5 GFLOP.

## B. Joint Semantic Segmentation and Depth Estimation ##

在一般情况下，决定在**何处将骨干网分支**到单独的特定于任务的路径，以**同时在所有路径上**实现**最佳性能**是很重要的。在没有强力假设的情况下，我们没有找到最佳位置，而是仅在最后一个CRP块之后进行分支，并为每个任务附加了两个额外的卷积层（一个深度1×1和一个普通3×3）（图1）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70][]

如果我们将**分支之前的网络输出**表示为![20200821074225923.png][]，其中![20200821074338176.png][]是具有一组**参数θb**的骨干网络，而I是输入的RGB图像，则深度和分段预测可以为表示为![2020082107445763.png][]和![20200821074510250.png][]，其中![20200821074523898.png][]和![20200821074538251.png][]分别是分段和**深度估计分支**，分别带有**参数**θs和θd。我们使用标准的**softmax交叉熵损失**进行分割，使用反Huber损失进行深度估计\[25\]。我们的总损耗（等式（1））包含一个额外的缩放参数λ，为简单起见，我们将其设置为0.5:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1][]

其中Gs和Gd分别表示**ground truth**的分割掩码和深度图； 分割损失中的（·）ij是像素i处类别j的概率值。

## C. Expert Labeling for Asymmetric Annotations ##

正如人们所期望的那样，不可能为每个单个图像提供所有**ground truth**感官信息(sensory information)。很自然地，这提出了一个问题，即如何处理一组图像S = \{ I \}，其中有些图像具有一种模态的注释，而另一种图像则没有。**假设每个图像始终存在一个模态**，则将集合S分为两个不相交的集合![20200821075414704.png][]和![20200821075425146.png][]，使得![2020082107543963.png][]，其中T1和T2分别表示两个任务，并且集合**S1**包括没有可用的第二任务的注释的图像，而集合**S2**包括具有两组注释的图像。

简而言之，没有什么可以阻止我们继续使用等式（1），在这种情况下，只会更新具有可用标签的分支的权重。正如我们在实验中显示的那样，这导致倾斜的梯度，因此导致次优解。相反，强调需要同时更新两个分支，我们依靠**专家模型**为我们提供嘈杂的估计值，以代替缺少的注释。

更正式地说，如果我们将第二个任务的专家模型表示为![2020082107575192.png][]，则其对集合S1的预测![20200821075806565.png][]可用作合成的ground truth数据，我们将使用它来对我们的联合模型进行预训练，然后在原始集S2（同时含有两个任务的ground truth数据）上进行最终微调。在这里，我们利用**专家网络**而不是 [logit][] 预测的标签，因为存储一组大型3-D浮点张量需要大量资源。

还要注意，我们的框架可以直接转移到集合S包含多个数据集的情况下。在Sect. V-B 我们展示了一种使用模型的单个副本同时利用所有资源的方法。

![20200821080901586.png][]

# IV. 试验结果 #

本部分的目的是演示可以轻松地将我们的方法直接应用于其他实际情况，例如，一次执行三个任务的单个模型的部署，以及一次执行两个任务的单个模型的部署在两种不同的情况下一次完成任务-室内和室外。 作为第三项任务，在这里我们考虑**表面法线估计**，并且在两种情况下，我们考虑同时在NYUD和KITTI上训练单个模型，而不必为每个数据集都拥有相同体系结构的单独副本。  
在本节中，我们力求简单，而不是追求获得高性能，因此，我们直接采用与上一节中概述的相同的训练方案。

## A. NYUDv2 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4][]

## B. KITTI ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6][]

# V. EXTENSIONS #

## A. Single Model - Three Tasks ##

## B. Single Model - Two Datasets, Two Tasks ##

## C. Dense Semantic SLAM ##

最后，我们证明了由我们在**室内**进行深度估计和语义分段的联合网络预测的quantities，可以直接合并到现有的SLAM框架中。  
特别地，我们考虑

*  **SemanticFusion** \[6\]: SLAM重构由**ElasticFusion** \[49\]进行（ElasticFusion \[49\]依靠RGB-D输入以查找帧之间的密集对应关系）。
 *  McCormac等人使用了一个单独的CNN，该CNN也在RGB-D输入上运行。
 *  \[6\]获取当前帧的二维语义分割图。借助SLAM系统预测的跟踪姿势，可以获得场景的密集3D语义图。

我们考虑了作者1提供的NYUD验证集的一个序列，并直接用我们的网络输出共同执行地面深度和分段（第IV-A节）来代替地面真实深度测量。同样，我们不利用作者的细分CNN，而是利用网络中的细分预测。还要注意，我们的细分网络是在40个语义类上训练的，而在这里，我们直接将结果重新映射到13个类的域中\[50\]。我们在图5上显示了基于密稠密表面重建以及稠密分割和当前帧。有关完整序列结果，请参阅补充视频资料。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 7][]

# VI. 总结 #

我们相信，使用深度学习模型在机器人应用程序中轻松提取视觉信息，对于进一步开发和部署机器人及自动驾驶至关重要。为此，我们提出了一种用于深度估计和语义分割的联合任务的实现实时性能的简单方法。我们展示了有可能（并且确实有益）重新使用大型现有模型，以生成对于紧凑模型的预训练阶段很重要的合成标签。此外，我们的方法可以轻松扩展以同时处理更多任务和更多数据集，而我们网络的**原始深度**和**分割预测**可以在可用的**稠密SLAM系统**中无缝使用。在未来的工作中，我们将考虑在训练前阶段是否可以直接考虑专家的不确定性，以获得更好的结果，以及在没有可靠专家的情况下。另一个有趣的方向在于整合Zamir等人的发现 \[36\]为了减少训练注解的总数而不牺牲性能。

# 参考 #

\[12\] A. Kendall, Y. Gal, and R. Cipolla, “**Multi-task learning using uncertainty to weigh losses for scene geometry and semantics**,” CoRR, vol. abs/1705.07115, 2017

\[18\] V. Nekrasov, C. Shen, and I. Reid, “**Light-weight refinenet for realtime semantic segmentation**,” in BMVC, 2018.

\[19\] M. Sandler, A. G. Howard, M. Zhu, A. Zhmoginov, and L. Chen, “**Inverted residuals and linear bottlenecks: Mobile networks for classification, detection and segmentation**,” CoRR, vol. abs/1801.04381, 2018.

[Light-Weight RefineNet for Real-Time Semantic Segmentation]: https://blog.csdn.net/shyjhyp11/article/details/108054612
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70]: /images/20221124/892bd93e5d8843b7ad65554e9fd3f0b5.png
[20200821074225923.png]: https://img-blog.csdnimg.cn/20200821074225923.png
[20200821074338176.png]: https://img-blog.csdnimg.cn/20200821074338176.png
[2020082107445763.png]: https://img-blog.csdnimg.cn/2020082107445763.png
[20200821074510250.png]: https://img-blog.csdnimg.cn/20200821074510250.png
[20200821074523898.png]: https://img-blog.csdnimg.cn/20200821074523898.png
[20200821074538251.png]: /images/20221124/258cde30860a45e185a56ce8a9c9e375.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 1]: /images/20221124/35b7216c4f5344d6a034d0843d383f88.png
[20200821075414704.png]: https://img-blog.csdnimg.cn/20200821075414704.png
[20200821075425146.png]: https://img-blog.csdnimg.cn/20200821075425146.png
[2020082107543963.png]: /images/20221124/cbb9a94791b949f88ab29f1a62c2e29c.png
[2020082107575192.png]: https://img-blog.csdnimg.cn/2020082107575192.png
[20200821075806565.png]: /images/20221124/70c2fe459b9b4b0fb23992c900df1df4.png
[logit]: https://blog.csdn.net/nbxzkok/article/details/84838984
[20200821080901586.png]: /images/20221124/c4b0328dc78b4b6496087fc1818c2c43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 2]: /images/20221124/176e2d0a37bc40cda8e7edacd5dddfa4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 3]: /images/20221124/e531a8ad83b8464fa1e8f5d6b7d7924e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 4]: /images/20221124/f3e988c92f354b3286c143c73f564e03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 5]: /images/20221124/d0a552fea9b74fd392ae0d6a8e1483f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 6]: /images/20221124/9904ad69c07242058d55934b93aa72fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoeWpoeXAxMQ_size_16_color_FFFFFF_t_70 7]: /images/20221124/67007d8aaa2043aaa3e6db0909b89ebb.png