基于视觉Transformer的目标检测

旧城等待， 2022-09-13 04:28 136阅读 0赞

# 基于视觉Transformer的目标检测 #

**无卷积骨干网络：金字塔Transformer，提升目标检测/分割等任务精度**

https://github.com/whai362/PVT

例如，在参数数量相当的情况下，PVT+RetinaNet在COCO数据集上实现了**40.4 AP**，超过ResNet50+RetinNet（36.3 AP）4.1个绝对AP（见下图）。研究者希望PVT可以作为像素级预测的替代和有用的主干，并促进未来的研究。

![图片][ec364cbaf9f842861787f527a78cdc8a.png]

提供了新思路，比不上yolov系列，研究可以，做工业产品貌似不太适合。

**YOLOS：**

**Transformer能否以最少的2D空间结构从纯粹的序列到序列的角度进行2D目标识别呢？**

为回答该问题，我们提出了YOLOS(You Only Look at One Sequence)，一系列基于朴素ViT(即尽可能少的进行修改)的目标检测模型。我们发现：在中等大小数据集ImageNet上预训练的YOLOS已经足以在COCO上取得极具竞争力的目标检测性能，比如：YOLOS-Base可以取得42.0boxAP指标。与此同时，我们还通过目标检测。讨论了当前预训练机制、模型缩放策略对于Transformer在视觉任务中的局限性。

一部分介绍：

[致敬YOLO！华科提出YOLOS：基于视觉Transformer的目标检测\_3D视觉工坊-CSDN博客][YOLO_YOLOS_Transformer_3D_-CSDN]

模型都不是特别小，跟yolov5比，感觉还是差一些。

最小74m，最大42.0的模型1.4G

[GitHub - hustvl/YOLOS: You Only Look at One Sequence (https://arxiv.org/abs/2106.00666)][GitHub - hustvl_YOLOS_ You Only Look at One Sequence _https_arxiv.org_abs_2106.00666]

[ec364cbaf9f842861787f527a78cdc8a.png]: /images/20220828/52832bd96cf24e7c90d1f59c783ab7ad.png
[YOLO_YOLOS_Transformer_3D_-CSDN]: https://blog.csdn.net/Yong_Qi2015/article/details/117608565
[GitHub - hustvl_YOLOS_ You Only Look at One Sequence _https_arxiv.org_abs_2106.00666]: https://github.com/hustvl/YOLOS