CVPR 2021 华南理工和微信的Transformer：UP-DETR无监督预训练检测器

r囧r小猫 2022-10-23 01:48 159阅读 0赞

> 点击上方“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

> **作****者：飞奔的啦啦啦   知乎**
> 
> **https://www.zhihu.com/question/432321109/answer/1606004872**

#     #

# **论文标题：** #

# **UP-DETR: Unsupervised Pre-training for Object Detection with Transformers** #

论文：https://arxiv.org/abs/2011.09094

中cvpr oral啦！代码和预训练模型已经开源：

**https://github.com/dddzg/up-detr**

相信大家都有目共睹，无监督预训练模型无论是在nlp(BERT,GPT,XLNet)还是在cv(MoCo,SimCLR,BYOL)上都取得了突破性的进展。而对于无监督（自监督）预训练而言，最重要的就是设计一个合理的pretext，典型的像BERT的masked language model，MoCo的instance discrimination。他们都通过一定的方式，从样本中无监督的构造了一个"label"，从而对模型进行预训练，提高下游任务的表现。

回到我们的UP-DETR，对于DETR而言，既然CNN可以是无监督预训练的，那么transformer能不能也无监督预训练一下呢。这就是我们的motivation。

当然啦，骚想法可以很丰满，可现实总是很骨感（T.T）。对于现有的pretext任务，似乎都不太适合于DETR里transformer的预训练。比如，你想搞个mask，可cv都是连续像素构成语义，没法像nlp天然有个离散的token的概念，最后还可能训成一个mask检测器（狗头。直接把MoCo那一套搬过也不太可行。**我们认为主要的原因是DETR中的transformer主要是用来做空间信息上的定位而MoCo那一套主要是用来提高CNN的instance discrimination**。

更重要的是，无监督预训练检测器，这听起来就很违背自觉，因为是不是object某种意义上明明就是人为定义的。所以，我们换了一个思路，提出了一个叫random query patch detection的pretext，具体而言就是从原图中，我们随机的框若干个patch下来，把这些patch输入到decoder，原图输入到encoder，然后整个任务就变成了给定patch找他们在原图中的位置。最后，对于一个无监督训好的DETR，只要输入patch，它天然就能做到如下图的无监督定位patch的功能（不需要额外的nms后处理），当然这个patch还能支持数据增强和尺度变换。从这个预训练任务的角度来说，一个patch是不是object本身没有任何先验。

![5e805ab6331bf363924cedbd98df805f.png][]

idea其实就这么简单，但具体实现上，我们其实遇到了两个主要的问题，在paper里，我们把它们总结为：**multi-task learning和multi-query localization**。更多详细的内容大家可以参阅我们的论文，这里我们简单介绍一下：

*  对于multi-task learning，主要是由于目标检测其实本身就带有定位和分类两个任务，这两个任务对特征其实有着不同的偏好。这其实在之前许许多多工作中都有大佬提到了，因此许多目标检测的工作通常会设计了两条不同的分支（带有额外卷积结构）分别对应于分类和回归。而detr其实完全共享了同一组特征，在实验中，我们发现如果只做patch的定位，不管分类的话，UP-DETR迁移到voc上效果会不好。这意味着定位和分类，特征偏好上确实是有冲突的。所**以，为了在预训练中权衡这两个任务的偏好，我们固定了预训练好的CNN权重，新增了一个叫patch feature reconstruction的分支。motivation就是希望经过transformer的特征能保持和经过CNN后的特征一致的分类判别性。**
 *  对于multi-query localization，主要是说对于DETR，decoder其实有100个object query，这100个object query其实是100个网络隐式学到的空间位置偏好的embedding。我们实际上是随机搞了M个query patch，因为patch可能会在任意位置，直觉上得一个patch加到多个object query上，所以我们讨论了一下如何在预训练过程中，把这M个query patch分配到100个embedding上去。我们从最简单的single-query开始介绍，把它拓展到了支持multi-query的预训练。对于multi-query，**我们认为有两个要满足的条件，第一个是 query之间框的预测是独立的，所以我们提出了一个放在decoder上的attention mask，保证query之间彼此不可见。第二个是100个embedding和M个query patch应当是没有任何位置先验限制的，我们提出了object query shuffle的方法去达到这种随机性。**

解决了这俩问题，UP-DETR的预训练过程如下图所示，除此之外，下游目标检测的微调是和训DETR一模一样的：

![8bae5c72976c3726e78ad3e8eeb3efea.png][]

在实验中，通过在ImageNet上无监督预训练，UP-DETR在VOC和COCO上都取得了更快的收敛和更高的精度。即便在充足长的训练epoch下，VOC上仍然有3 AP以上的提升，而对于COCO，UP-DETR仍然可以获得0.7 AP的提升（42.8 AP）。**要知道的是，对于在充足训练时间下的COCO，预训练CNN对于Faster R-CNN已经不重要了，但是对于DETR而言，预训练CNN和transformer仍然能提升其性能。**

![353f9549206e0ec6bc6b22b33885ef82.png][]

![66c1db33dc6e5a33650f2e63eea6fedf.png][]

最后的话，怕大家误解，我先提前辩解一下，我们和DETR用的是一模一样的模型结构，都是没有FPN，以ResNet50最后一层作为encoder特征输入（当然，由于attention高昂的复杂度也做不了FPN），这导致了小物体依旧挺拉跨，所以AP的提升比起deformable DETR和sparse R-CNN自然会低一些（噗通）。我觉得吧，站在通用视觉表征的立场上，这锅怎么也得分给ResNet一半吧。希望知乎大佬们轻喷（害怕.jpg）。

论文：https://arxiv.org/abs/2011.09094

中cvpr oral啦！代码和预训练模型已经开源：

**https://github.com/dddzg/up-detr**

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![9b0bb57cf0a7498c445936de1786b3c9.png][]

[5e805ab6331bf363924cedbd98df805f.png]: /images/20221022/130a0e1c777f4babbed6380ed35e3696.png
[8bae5c72976c3726e78ad3e8eeb3efea.png]: /images/20221022/26e641da78704008906ff7220647b853.png
[353f9549206e0ec6bc6b22b33885ef82.png]: /images/20221022/b0051c5149964159842a2e13fe8f3cc1.png
[66c1db33dc6e5a33650f2e63eea6fedf.png]: /images/20221022/183dece132344d6494b8f19241a6af5c.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[9b0bb57cf0a7498c445936de1786b3c9.png]: /images/20221022/73dd2ec60d0e4b16a07836d4c84f035b.png