MOTChallenge榜单第一！用于多目标跟踪简单高效的数据关联方法 BYTE

柔情只为你懂 2022-09-16 13:14 118阅读 0赞

编辑丨我爱计算机视觉

本文获作者授权转载自知乎：

https://zhuanlan.zhihu.com/p/421264325?

本文主要介绍一下我们最近的一篇工作：

ByteTrack: Multi-Object Tracking by Associating Every Detection Box

> 沿着多目标跟踪（MOT）中tracking-by-detection的范式，我们提出了一种简单高效的数据关联方法BYTE，利用检测框和跟踪轨迹之间的相似性，在保留高分检测结果的同时，从低分检测结果中去除背景，挖掘出真正的物体（遮挡、模糊等困难样本），从而降低漏检并提高轨迹的连贯性。BYTE能轻松应用到9种state-of-the-art的MOT方法中，并取得1-10个点不等的IDF1指标的提升。基于BYTE我们提出了一个跟踪方法ByteTrack，首次以30 FPS的运行速度在MOT17上取得80.3 MOTA，77.3 IDF1和63.1 HOTA，目前位居MOTChallenge榜单第一。我们还在开源代码中加入了将BYTE应用到不同MOT方法中的教程以及ByteTrack的部署代码。

**Paper:** https://arxiv.org/abs/2110.06864

**Code:** https://github.com/ifzhang/ByteTrack

**Leaderboard:** https://motchallenge.net/results/MOT17/?det=Private

![1eedbf1b6486bcf037bfec11eb65b18a.png][]

纵轴是MOTA，横轴是FPS，圆的半径代表IDF1的相对大小

**Motivation**

Tracking-by-detection是MOT中的一个经典高效的流派，通过相似度（位置、外观、运动等信息）来关联检测框得到跟踪轨迹。由于视频中场景的复杂性，检测器无法得到完美的检测结果。为了处理true positive/false positive的trade-off，目前大部分MOT方法会选择一个阈值，只保留高于这个阈值的检测结果来做关联得到跟踪结果，低于这个阈值的检测结果直接丢弃。

但是这样做合理吗？答案是否定的。黑格尔说过：“存在即合理。”低分检测框往往预示着物体的存在（例如遮挡严重的物体）。简单地把这些物体丢弃会给MOT带来不可逆转的错误，包括大量的漏检和轨迹中断，降低整体跟踪性能。

##     ##

**BYTE**

为了解决之前方法丢弃低分检测框的不合理性，我们提出了一种简单、高效、通用的数据关联方法BYTE(each detection box is a basic unit of the tracklet, as byte in computer program)。直接地将低分框和高分框放在一起与轨迹关联显然是不可取的，会带来很多的背景（false positive）。BYTE将高分框和低分框分开处理，利用低分检测框和跟踪轨迹之间的相似性，从低分框中挖掘出真正的物体，过滤掉背景。整个流程如下图所示：

1）BYTE会将每个检测框根据得分分成两类，高分框和低分框，总共进行两次匹配。

2）第一次使用高分框和之前的跟踪轨迹进行匹配。

3）第二次使用低分框和第一次没有匹配上高分框的跟踪轨迹（例如在当前帧受到严重遮挡导致得分下降的物体）进行匹配。

4）对于没有匹配上跟踪轨迹，得分又足够高的检测框，我们对其新建一个跟踪轨迹。对于没有匹配上检测框的跟踪轨迹，我们会保留30帧，在其再次出现时再进行匹配。

我们认为，BYTE能work的原因是遮挡往往伴随着检测得分由高到低的缓慢降低：被遮挡物体在被遮挡之前是可视物体，检测分数较高，建立轨迹；当物体被遮挡时，通过检测框与轨迹的位置重合度就能把遮挡的物体从低分框中挖掘出来，保持轨迹的连贯性。

![b8a5a4cae37a7b3c80fba03e22447df3.png][]

## **ByteTrack**    ##

ByteTrack使用当前性能非常优秀的检测器YOLOX得到检测结果。在数据关联的过程中，和SORT一样，只使用卡尔曼滤波来预测当前帧的跟踪轨迹在下一帧的位置，预测的框和实际的检测框之间的IoU作为两次匹配时的相似度，通过匈牙利算法完成匹配。这里值得注意的是我们没有使用ReID特征来计算外观相似度：

1）第一点是为了尽可能做到简单高速，第二点是我们发现在检测结果足够好的情况下，卡尔曼滤波的预测准确性非常高，能够代替ReID进行物体间的长时刻关联。实验中也发现加入ReID对跟踪结果没有提升。

2）如果需要引入ReID特征来计算外观相似度，可以参考我们开源代码中将BYTE应用到JDE，FairMOT等joint-detection-and-embedding方法中的教程。

3）ByteTrack只使用运动模型没有使用外观相似度能在MOT17，20取得高性能的本质原因是MOT数据集的运动模式比较单一（于是，我们提出了一个新数据DanceTrack，彩蛋！）

##     ##

## **Demo** ##

ByteTrack在MOT 17 and MOT20 challenge的效果:

ByteTrack在故宫游玩时拍摄视频的效果（侵权删）：

**Performance**

首先，我们使用YOLOX的检测结果，发现BYTE能够大幅领先SORT，DeepSORT，MOTDT等经典热门关联方法，对超参数也更加鲁棒，结果如下所示：

![6899efd1113cfe85ac927358214c9401.png][]

![6aa4295a27ca2c0718a662fddf67e0eb.png][]

其次，我们将BYTE应用到了ECCV20之后的9种SOTA tracker上，其中包括基于ReID, motion和attention的方法，都得到了稳定的MOTA和IDF1指标的提升，结果如下表所示：

![1efa3ddfd9cf1456e85eaaf7f4424d48.png][]

最后，ByteTrack在MOT17和MOT20上都达到了榜单第一，并且速度在当前所有方法中也达到第一（30 FPS）。

![26b86adddd549dd42b39a4f4cd46c518.png][] ![8fc3ee3337add5843a5bdb2b80be5199.png][]

##     ##

## **Conclusion**    ##

多目标追踪场景中，大部分遮挡物体的检测结果都是低分框，ByteTrack非常简洁的从低分检测框中寻找遮挡的物体，对遮挡非常鲁棒。ByteTrack同时也为如何最大程度利用检测结果来帮助MOT提供了启发。我们也提供了ByteTrack的部署代码和模型，希望它的高精度、高速度能够对实际应用带来帮助。

**彩蛋**

ByteTrack在MOT17，20的表现启发我们重新思考多目标追踪中的运动模型与re-ID模型。当前众多跟踪模型强依赖于提取物体的外观特征，那如果追踪物体的外观基本一致时，现有模型的的表现如何？

当前主流多目标跟踪数据集中物体的运动模式非常简单，近乎匀速直线运动，如果物体的运动模式非常复杂，多个物体互相来回穿梭，现有模型的的表现如何？

我们提出了一个数据集：DanceTrack: tracking multiple objects in uniform appearance and diverse motion

![97c4217b1701ac3fc36898b4e61bc782.png][]

正在准备中，欢迎大家届时关注。

本文仅做学术分享，如有侵权，请联系删文。

##  ##

**重磅！计算机视觉工坊****-学习****交流群****已成立**

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在**交流顶会、顶刊、SCI、EI等写作与投稿事宜。**

**同时**也可申请加入我们的细分方向交流群，目前主要有**ORB-SLAM系列源码学习、****3D视觉**、**CV&深度学习**、**SLAM**、**三维重建**、**点云后处理**、**自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流**等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。**原创投稿**也请联系。

![abbac97f040309043008c52904aca2e1.png][]

▲长按加微信群或投稿

![b506c4ea1f5d5d16ac82c385c0fed258.png][]

▲长按关注公众号

##  ##

**3D视觉从入门到精通知识星球**：针对3D视觉领域的**视频课****程（**[**三维重建系列**][Link 1]**、**[**三维点云系列**][Link 2]**、**[**结构光系列**][Link 3]**、**[**手眼标定**][Link 4]**、**[**相机标定**][Link 5]**、激光/视觉SLAM、自动驾驶等****）、****知识点汇总、入门进阶学习路线、最新paper分享、疑问解答**五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

##  ##

![20040ccf3f34f6f767fe88ad600e2953.png][]

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

**觉得有用，麻烦给个赞和在看~**

[1eedbf1b6486bcf037bfec11eb65b18a.png]: /images/20220828/5b5bbac9432d41918df58ba2cf524f4e.png
[b8a5a4cae37a7b3c80fba03e22447df3.png]: /images/20220828/d018ff8b97794f87bcc6b04c91dd4349.png
[6899efd1113cfe85ac927358214c9401.png]: /images/20220828/c2e5145b61e44aab8422d006fef49983.png
[6aa4295a27ca2c0718a662fddf67e0eb.png]: /images/20220828/19c466154e9e4ca997c49fd905fe724f.png
[1efa3ddfd9cf1456e85eaaf7f4424d48.png]: /images/20220828/93df57301b334333a0503a463c3e0ff2.png
[26b86adddd549dd42b39a4f4cd46c518.png]: https://img-blog.csdnimg.cn/img_convert/26b86adddd549dd42b39a4f4cd46c518.png
[8fc3ee3337add5843a5bdb2b80be5199.png]: /images/20220828/61b76f7f5ea2499397f3a94cb0817419.png
[97c4217b1701ac3fc36898b4e61bc782.png]: /images/20220828/163194ca53a14a3bafc4edacf2d06958.png
[abbac97f040309043008c52904aca2e1.png]: /images/20220828/01af6328e16545378844a7ea719e1192.png
[b506c4ea1f5d5d16ac82c385c0fed258.png]: /images/20220828/a9ecc09fe74e453e8d23aa8eb462e0b5.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247549738&idx=1&sn=88b4aa9e091077f107407bddc8da7acd&chksm=fbfc281ecc8ba10823e11ac0044b5a94920806c83d30d8cb90630a41ecb23ad458106b9b1f58&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247551625&idx=1&sn=4a914cfeb2d251ab25421e1e5de930c0&chksm=fbfc21bdcc8ba8abac371478a6b2b9d143a1b31fa799201c6682d9d0b6a4ed4a7da146b3c536&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247546284&idx=2&sn=d067a98047192a04f21489aca338a5d6&chksm=fbfc1e98cc8b978e5fb6b2afd1a473c89e2861374542421b9972f87a6fdfcd47eb50c443042e&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247554670&idx=2&sn=cf3323178d5d1960476208e6303a8479&chksm=fbfc3d5acc8bb44c184084dcf447a5981d297815d62bef699129338d99a0472c622f96ee71d8&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247486422&idx=1&sn=381ab793959aed0eb6f01019dea522d4&chksm=fbff20e2cc88a9f456b80e23d2482fb319b08e89da071b39597bc51942a6aa7b756a6749856c&scene=21#wechat_redirect
[20040ccf3f34f6f767fe88ad600e2953.png]: /images/20220828/af0ffccf85ce4d81b16503dfc73ac718.png