CVPR2021中的目标检测和语义分割论文汇总

梦里梦外; 2022-11-08 14:27 182阅读 0赞

作者丨Tom Hardy@知乎 编辑丨计算机视觉工坊

来源丨https://zhuanlan.zhihu.com/p/355137468

感慨：知识蒸馏大放异彩~

## **目标检测篇** ##

1、Semantic Relation Reasoning for Shot-Stable Few-Shot Object Detection

paper链接：https://arxiv.org/abs/2103.01903

由于真实世界数据固有的长尾分布，few-shot目标检测是一个重要而持久的问题。它的性能很大程度上受到新类数据稀缺的影响。但是无论数据的可用性如何，新类和基类之间的语义关系都是不变的。这篇paper研究了如何利用这种语义关系和视觉信息，并将显式关系推理引入到新目标检测的学习中。

![c96c2b9b830085094147c167f833e5d7.png][] ![0d110367ca44c33f4a0a43b0d7b87981.png][]

2、Instance Localization for Self-supervised Detection Pretraining（香港大学，微软亚洲研究院）

paper链接：https://arxiv.org/pdf/2102.08318.pdf

以往对自监督学习的研究在图像分类方面取得了相当大的进展，但在目标检测方面往往存在transfer性能下降的问题。本文的目的是提出一种专门用于目标检测的自监督预训练模型。

![87d796548929abe065af1353bd6383b8.png][] ![5c127ae7f917873ba5840d3aceb0e6ab.png][]

3、Towards Open World Object Detection

paper链接：https://arxiv.org/abs/2103.02603

人类有识别环境中未知物体实例的本能。人类有一种自然的本能来识别未知环境中的物体实例。这促使我们提出了一个新的计算机视觉问题，称为“开放世界目标检测”，模型的任务是：

1）在没有明确监督的情况下，将尚未引入的目标识别为“未知”，

2）逐步学习这些已识别的未知类别，而不忘记以前学习的类，当相应的标签逐渐收到时。

本文提出了一种基于对比聚类和基于能量的未知识别的开放世界目标检测算法。

![67addf509b2151c6a387dbff583b073c.png][] ![990eb49d24e409c3b1fe9de75175e3f8.png][]

4、Positive-Unlabeled Data Purification in the Wild for Object Detection

暂未放出

5、General Instance Distillation for Object Detection

paper链接：https://arxiv.org/pdf/2103.02340.pdf

近年来，知识蒸馏被证明是一种有效的模型压缩方法。这种方法可以使轻量级的学生模型从较大的教师模型中获取知识。然而，以往的提取检测方法对不同检测框架的泛化能力较弱，严重依赖于GT，忽略了实例间有价值的关系信息。因此，论文提出了一种新的基于区分性实例的提取方法，即一般实例提取（GID）。该方法包含了通用实例选择模块（GISM），充分利用了基于特征、基于关系和基于响应的知识进行提取。

![8d5f7fdc7fcf975b4bfd10389ce0ebd6.png][]

6、UP-DETR: Unsupervised Pre-training for Object Detection with Transformers

paper链接：https://arxiv.org/pdf/2011.09094.pdf

transformer+无监督的一篇paper。

![38815d653f324c97ecec87ed7e986d5f.png][] ![f4bc67f50685dcd5ddbb627c7e0660cc.png][]

7、Depth from Camera Motion and Object Detection

paper链接：https://arxiv.org/abs/2103.01468

本文讨论了在给定摄像机运动测量值（如机器人运动学或车辆里程计）的情况下，学习估计被测物体深度的问题。论文通过1）设计一个递归神经网络（DBox），使用box和未校准摄像机运动的广义表示来估计物体的深度；2）通过运动和检测数据集（ODMD）引入物体深度。

![966d59fbca7200de53377f77d47f7576.png][] ![66346de93931027e459ed0cf18547934.png][] ![fef91038fa9d44cb74539864c81e049e.png][]

8、There is More than Meets the Eye: Self-Supervised Multi-Object Detection and Tracking with Sound by Distilling Multimodal Knowledge

paper链接：https://arxiv.org/abs/2103.01353

物体固有的声音属性可以为学习丰富的物体检测和跟踪表示提供有价值的线索。此外，可以利用视频中视听事件的同时出现，通过单独监测环境中的声音，在图像场上定位对象。到目前为止，这只适用于摄像机静止和单目标检测的场景。此外，这些方法的鲁棒性受到限制，因为它们主要依赖于对光照和天气变化非常敏感的RGB图像。在这项工作中，我们提出了一个新颖的自监督MM-stewartnet框架，该框架由多个教师组成，他们利用不同的模式，包括RGB、深度和热图像，同时利用互补线索并将知识提取到单一音频学生网络中。

![6db0dd120dc813f81c75685b69481bb3.png][] ![67ee7714f38743cf540dbbadff4d9d27.png][]

9、Dogfight: Detecting Drones from Drone Videos

暂未放出

10、3DIoUMatch: Leveraging IoU Predictionfor Semi-Supervised 3D Object Detection

paper链接：https://arxiv.org/pdf/2012.04355.pdf

三维目标检测是一项重要而艰巨的任务，它严重依赖于难以获得的三维标注。为了减少所需的监督量，论文提出了一种新的半监督三维物体检测方法。采用VoteNet（一种流行的基于点云的目标检测器）作为主干，利用一个教师学生互学习网络框架，以伪标签的形式将信息从标注训练集传播到无标注训练集。

![850183fb610cd42fa780afb009436724.png][] ![4acd4e07f72ba1b6c75362381df1e113.png][]

11、Categorical Depth Distribution Network for Monocular 3D Object Detection

paper链接：https://arxiv.org/abs/2103.01100

单目三维目标检测是自动驾驶领域的一个关键问题，与典型的多传感器系统相比，它提供了一种结构简单的解决方案。单目三维检测的主要挑战在于准确预测目标深度，由于缺乏直接的距离测量，必须从目标和场景线索中推断出目标深度。许多方法试图直接估计深度来辅助三维检测，但由于深度不准确，性能有限。论文提出的分类深度分布网络（Categorical Depth Distribution Network，CaDDN）利用每个像素的预测分类深度分布，将丰富的上下文特征信息投射到三维空间中适当的深度区间。然后，使用计算效率高的鸟瞰投影和单级检测器来生成最终的输出边界框。我们将CaDDN设计为一种完全可微的端到端方法，用于联合深度估计和目标检测。

![c263ced25be59e9fa55a25f0e15da9c7.png][] ![1c6bbcd5795ac319c02a481a4860e5cc.png][] ![4a89cf440e4616af74ad643be3ddba1c.png][]

## **语义/实例全景/分割篇** ##

1、PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation

暂未开放

2、Few-Shot Segmentation Without Meta-Learning: A Good Transductive Inference Is All You Need?

paper链接：https://arxiv.org/abs/2012.06166

![01cb5f42102a6ad5b219f62d451381ad.png][] ![c30529705d2d87f51e2e5f11a892b5f1.png][]

3、4D Panoptic LiDAR Segmentation

paper链接：arxiv.org/abs/2102.1247

时态语义场景理解是自动驾驶车辆或机器人在动态环境中工作的关键。本文提出了4D全景激光雷达分割来分配一个语义类和一个时间上一致的实例ID到一个3D点序列。

![23d3830e0d7fdede01690ce1dd7d8c11.png][]

4、Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges

paper链接：https://arxiv.org/abs/2102.12472

5、PLOP: Learning without Forgetting for Continual Semantic Segmentation

paper链接：https://arxiv.org/abs/2011.11390

目前，深度学习方法广泛应用于处理语义分割等需要大量数据集和强大计算能力的计算机视觉任务。语义连续学习（CSS）是一个新兴的趋势，它通过不断地添加新的语义来更新旧的模型语义。本文提出了一种多尺度池蒸馏方案localpod，该方案在特征级保持长、短距离的空间关系。此外，还设计了一个基于熵的伪标号来处理由旧模型预测的背景类，以避免旧类的灾难性遗忘。我们的方法称为PLOP，在现有CSS场景中，以及在新提出的具有挑战性的基准中，大大超过了最先进的方法。

![1b04fa01ef13dc463f5de1cbb6dbe6c8.png][]

6、End-to-End Video Instance Segmentation with Transformers

paper链接：https://arxiv.org/abs/2011.14503

使用Transformers进行视频实例分割~

![9f17be2fbdca28b8451dbdd27b7ba6f0.png][] ![88cbb8980f767900e281bff7c6a67071.png][]

本文仅做学术分享，如有侵权，请联系删文。

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![58d447fc0b11371896127ceb6660cd91.png][]

[c96c2b9b830085094147c167f833e5d7.png]: https://img-blog.csdnimg.cn/img_convert/c96c2b9b830085094147c167f833e5d7.png
[0d110367ca44c33f4a0a43b0d7b87981.png]: /images/20221023/4c8b09899e7c4c15a57a9288d7862b47.png
[87d796548929abe065af1353bd6383b8.png]: https://img-blog.csdnimg.cn/img_convert/87d796548929abe065af1353bd6383b8.png
[5c127ae7f917873ba5840d3aceb0e6ab.png]: /images/20221023/4981c7454d354de7bd882231ef6241f9.png
[67addf509b2151c6a387dbff583b073c.png]: https://img-blog.csdnimg.cn/img_convert/67addf509b2151c6a387dbff583b073c.png
[990eb49d24e409c3b1fe9de75175e3f8.png]: /images/20221023/4c3dca5f98714785aa19189ea21965fe.png
[8d5f7fdc7fcf975b4bfd10389ce0ebd6.png]: /images/20221023/66eae3f70e324e3da3602a38ad57a587.png
[38815d653f324c97ecec87ed7e986d5f.png]: https://img-blog.csdnimg.cn/img_convert/38815d653f324c97ecec87ed7e986d5f.png
[f4bc67f50685dcd5ddbb627c7e0660cc.png]: /images/20221023/a513203859a1455880552c11972aea7f.png
[966d59fbca7200de53377f77d47f7576.png]: https://img-blog.csdnimg.cn/img_convert/966d59fbca7200de53377f77d47f7576.png
[66346de93931027e459ed0cf18547934.png]: https://img-blog.csdnimg.cn/img_convert/66346de93931027e459ed0cf18547934.png
[fef91038fa9d44cb74539864c81e049e.png]: /images/20221023/98f894e092a64c05878765ff50a45358.png
[6db0dd120dc813f81c75685b69481bb3.png]: https://img-blog.csdnimg.cn/img_convert/6db0dd120dc813f81c75685b69481bb3.png
[67ee7714f38743cf540dbbadff4d9d27.png]: /images/20221023/1a17cf740cc74668a03b13b0b906fda8.png
[850183fb610cd42fa780afb009436724.png]: https://img-blog.csdnimg.cn/img_convert/850183fb610cd42fa780afb009436724.png
[4acd4e07f72ba1b6c75362381df1e113.png]: /images/20221023/82c61b058584463c9f9718e21d76431e.png
[c263ced25be59e9fa55a25f0e15da9c7.png]: https://img-blog.csdnimg.cn/img_convert/c263ced25be59e9fa55a25f0e15da9c7.png
[1c6bbcd5795ac319c02a481a4860e5cc.png]: https://img-blog.csdnimg.cn/img_convert/1c6bbcd5795ac319c02a481a4860e5cc.png
[4a89cf440e4616af74ad643be3ddba1c.png]: /images/20221023/f6f882d95f2240de975c84caaad266cc.png
[01cb5f42102a6ad5b219f62d451381ad.png]: https://img-blog.csdnimg.cn/img_convert/01cb5f42102a6ad5b219f62d451381ad.png
[c30529705d2d87f51e2e5f11a892b5f1.png]: /images/20221023/b65f9f0e30254e9490713a821db5e11c.png
[23d3830e0d7fdede01690ce1dd7d8c11.png]: /images/20221023/9d717e6832cc44778ce9f2007680ad3a.png
[1b04fa01ef13dc463f5de1cbb6dbe6c8.png]: /images/20221023/d9d2a7bd976048e3ad9828f28745c334.png
[9f17be2fbdca28b8451dbdd27b7ba6f0.png]: https://img-blog.csdnimg.cn/img_convert/9f17be2fbdca28b8451dbdd27b7ba6f0.png
[88cbb8980f767900e281bff7c6a67071.png]: /images/20221023/2251851ffa1d4ab9b3451ee83616ccc1.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[58d447fc0b11371896127ceb6660cd91.png]: /images/20221023/746f2d0c274f42b69f8fd071790c15de.png