最强无监督行人重识别方法 Cluster Contrast ReID

川长思鸟来 2022-10-20 12:14 118阅读 0赞

[https://github.com/xiaomingzhid/sskd][https_github.com_xiaomingzhid_sskd]

[GitHub - JDAI-CV/fast-reid: SOTA Re-identification Methods and Toolbox][GitHub - JDAI-CV_fast-reid_ SOTA Re-identification Methods and Toolbox]

resnet50起步

无监督行人重识别已经有很多人在研究了，目前最好的方法是 SPCL（[葛艺潇：NeurIPS 2020 | 自步对比学习: 充分挖掘无监督学习样本][NeurIPS 2020 _ _]）, 在使用了 Generalized Mean Pooling (GEM) 之后，在 Market1501 数据集上达到了 rank-1 89.5% 的效果，效果很好，但是和有监督的方法，如 Resnet50 + Circle loss \[1\] rank-1 92.13% 或者 OSNet \[2\] 94.2% rank-1 相比仍然有一些差距。

SPCL 提供了一个很强的 unsupervised reid pipeline，可以启发我们去进行更深一步的探索。**基于此，我们提出了无监督 Cluster Contrast ReID，在 Market1501 上跑到了 rank-1 94.6%，已经超越了很多有监督的算法。**在其他行人重识别数据集如 Duke 和 MSMT17 数据集上，也比最先进无监督 re-ID 方法 mAP 提高了 7.5％，6.6％。

![图片][3f93b0be459edd3be32a61795878de28.png]

**论文标题：**

Cluster Contrast for Unsupervised Person Re-Identification

**论文地址：**

https://arxiv.org/abs/2103.11568

**代码地址：项目中直接带预训练**

https://github.com/alibaba/cluster-contrast-reid

首先来看一下整个无监督 reid 的 pipeline, 大致可以分成三个部分。第一个部分就是特征提取，在每一个 epoch 开始的时候，通过网络将训练数据集中图片的特征都提取出来。第二部分是聚类，通过传统的聚类方法如 DBScan, KNN 通过特征把图片聚成不同的类别，每个类别给一个标签，就是用来训练的伪标签。一开始的伪标签是很不准的，在训练的过程中，随着网络的精度越来越高，伪标签也会越来越接近真实标签。第三部分就是图片特征的存储和更新，在网络训练的过程中，随着网络参数的变化，图片的特征也需要进行对应的更新。

在训练的时候，我们因为有了伪标签，就能够通过类似于 softmax 的分类函数来对网络进行训练。因为伪标签在每次聚类的时候都会发生变化，所以无监督 reid 用的是 non-parametric softmax loss。我们用的是 moco 用的里面的 InfoNCE loss 来进行训练。

我们发现，图片特征的存储和更新对于网络的训练影响很大。一个最简单的直觉就是，在一个行人重识别数据集中，不同的人拥有的图片数量是不一样的，如果按照训练的图片来更新 feature 的话，拥有大量图片的人的 feature 将会滞后更新，从而有害网络优化。

所以 ClusterContrast 的核心思想就是，我们不再是从图片的层面上去更新特征和计算 loss，而是从人的维度去更新和计算 loss。无论一个人有多少张图片，对于网络训练来说，他们都是一视同仁的，都是用同一个速度去更新特征。在无监督 reid 中，每个人都被聚类成一个 cluster，所以我们的方法叫做 ClusterContrast。具体可以参加下图：

![图片][d5e0de1f20ef374ca1ca19603909120a.png]

Cluster Contrast

在这张图中，相同颜色的图片是属于同一个人的。对于一个人，不管他有多少张图片，我们只会从里面选一张图片的 feature 存起来。怎么选这一张图片也是有很大的讲究的？就像 batch hard triplet loss 一样，我们发现选择和之前存起来的 feature 最不相似的 feature 效果最好，这样能够让网络去挖掘一些难样本。和之前的方法的对比可以参见下图：

![图片][9e6e648ee3c20982ad68dc69822ec925.png]

我们可以看到 ClusterContrast 非常简洁，使用了最少的显存，取得了最好的效果。

![图片][1b6535688adb6f0e77591d282fd56b4b.png]

**结果**

![图片][0fb29c28212ae196b0a047b8caed2c65.png]

我们在各个数据集上，包括车辆重识别数据集上都大大超越了现有的无监督重识别方法。为了公平比较，我们在图表中并没有使用一些常见的提点方法如 Generalized Mean Pooling (GEM), reranking。用了 GEM 之后网络性能能进一步提升，能够超越很多有监督的方法：

**Market1501**

![图片][3e0fe86f4128dc44b1e6a2ac88167f29.png]

**DukeMTMC**

![图片][7c5f35e294e4c511e506fc505465ec0d.png]

![图片][652e03811b8f6afe4ad448f26c6496d0.png]

**总结**

我们提出了 Cluster Contrast 方法，核心就是在人的维度上去进行特征的提取和更新，从而将特征的更新速度与图片数量进行解耦，让算法工程师能够在 ID 的层面对模型进行调优。Custer Contrast 超越了现有的所有无监督行人重识别方法，无监督域自适应行人重识别方法和相当一部分有监督的方法。Cluster Contrast 简洁且效果好，代码已经开源，希望我们的方法能够带给广大重识别研究者一些启发，让行人重识别更好的落地在实际场景中。

[https_github.com_xiaomingzhid_sskd]: https://github.com/xiaomingzhid/sskd
[GitHub - JDAI-CV_fast-reid_ SOTA Re-identification Methods and Toolbox]: https://github.com/JDAI-CV/fast-reid
[NeurIPS 2020 _ _]: http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247513348&idx=2&sn=5d3ad3bb2fb237a207932c7baa8752a2&chksm=96ea6a84a19de392bbfc9a742eefb9236292eaf11ab4acc02043b3595bcdfd1159cd790a9ae4&scene=21#wechat_redirect
[3f93b0be459edd3be32a61795878de28.png]: /images/20221020/73256f8be48b4ef8ad971252f3bfd3e8.png
[d5e0de1f20ef374ca1ca19603909120a.png]: /images/20221020/6f9cfb84a2b54c4baea1ea55a085a696.png
[9e6e648ee3c20982ad68dc69822ec925.png]: /images/20221020/4b0d5b3905094b81925181c64742c7b8.png
[1b6535688adb6f0e77591d282fd56b4b.png]: /images/20221020/fa6e1c9277bd41739aebecc113bace07.png
[0fb29c28212ae196b0a047b8caed2c65.png]: /images/20221020/a7b20385397c42c6b058adbf1ffd914f.png
[3e0fe86f4128dc44b1e6a2ac88167f29.png]: /images/20221020/87f2093e61e04eaa94e89247f4fd03a3.png
[7c5f35e294e4c511e506fc505465ec0d.png]: /images/20221020/b7625a278c084f0ab6e67f43f3883303.png
[652e03811b8f6afe4ad448f26c6496d0.png]: /images/20221020/bc34e7a5ac9a48ae91ba0eb35c603063.png