【论文笔记】AlignedReID: Surpassing Human-Level Performance in Person Re-Identification

梦里梦外; 2022-02-17 13:08 182阅读 0赞

1Introduction

*  行人识别的挑战

在不同时间地点，识别同一个人

在多摄像头或照片中，追踪同一个人

图像库中搜索行人

相册照片聚类

商店访客分析

难点：variations in pose, viewpoints illumination, and occlusion

*  传统解决方案：

专注于低水平的特征，例如颜色、形状和局部描述

深度学习CNN：通过各种度量学习loss端到端的学习特征

Contrastive loss, triplet loss, 改进的triplet loss , quadruplet loss , and triplet hard loss

*  基于CNN学习全局特征的方法，没有考虑人的空间结构，弊端：1 2 3 4

当前的解决思路：

1）local feature learning

将整个身体分成一些小部分，但是没有考虑部分对齐

无法解决上述困扰：inaccurate detection box, pose variation, and occlusion.

1.  pose estimation： additional supervision

a pose estimation step (which is often error-prone)

*  AlignedReID算法：learns a global feature

在学习期间会进行自动局部对齐，并且不需要额外的监督和姿态估计

学习阶段：

two branches for learning a global feature and local features jointly

local branch：a shortest path loss 来 align local parts

inference stage:仅提取全局特征

metric learning setting :(研究物体间距离)：采用mutual learning approach 让两个两个模型互相学习更好的表示

结合了AlignedReID和相互学习：战胜了其他模型以及人类的表现

2Related Work

*  Metric Learning：

将原始图像转化成嵌入特征，计算出的距离作为他们的相似度

主要的方法技巧：

Triplet loss 会减小正负样本对的差距。通过hard mining 为训练模型选择合适的样本是有效的。将softmax loss 和metric learning loss 结合起来加速收敛也是普遍的方法

*  Feature Alignments：

学习的全局特征来你表示行人图像，但是忽视了图像的空间局部信息

一些模型尝试将图片分为多个部分学习局部信息，但是因为没有对齐依然不能解决检测框不准确，遮挡以及姿态错位的问题

近期流行的alignments方法：

pose estimation 例如，姿势不变嵌入（PIE）将行人与标准姿势对齐，以减少姿势\[52\]变化的影响

Global-LocalAlignment Descriptor (GLAD) ：没有直接对齐行人，而是检测姿态关键点并且从相应的区域提取局部特征

SpindleNet：使用了region proposed network (RPN) 产生一些身体区域，在不同阶段，逐渐联合response maps from 临近的身体部位

以上方法的共性：需要额外的pose annotation

pose estimation 会带来相应的error

*  什么是Mutual Learning？

相互学习

DarkRank：通过交叉样本相似度来提升模型压缩和加速

AlignedReID：将Mutual Learning用于Metric Learning环境

*  什么是Re-Ranking？

获得图像特征后，多数人用L2 Euclidean distance 来计算相似度

进行了一个额外的re-ranking改善reid性能

还有采用含有kreciprocal encoding 的re-ranking method

该方法结合了原始距离和Jaccard距离

3AlignedReID

*  如何理解feature map，global feature，local features？

提炼global feature 的能力是在训练阶段与local features 联合训练获得的能力

生成单一的global feature作为最终的输出值

使用L2作为similarity metric

feature map：原始图片，经过AlignedReID的CNN模块后输出 一个tensor C\*H\*W

global feature：是feature map上global pooling 的结果

local features：对feature map，先做horizontal pooling （水平方向的global pooling），然后用1\*1的卷积来减少通道数C到c.

每一个local features可以表达一个行人图片的水平部位

最终，一个行人图像就可以用一个global feature 和H个 local features表示。

![20190419164728323.png][]

*  如何理解一个人的两张图的相似度？

两个人的照片的距离 = 他们global 距离和local 距离的和

global 距离 = 他们global feature的L2距离

local 距离定义的前提假设：

同一个人的两张照片，、

一个照片中某个身体部位的 local features与另一张照片中对应的身体部位的 local features的相似度最高

local 距离：在总的距离最小化的前提下，动态地从上到下扫描图片的local parts做配对，找对应

*  如何计算local features的距离？

两张图F G

f1 g1代表图片的第一行，即第一个vector的大小或距离

F = \{f1,f2,...,fh\} = 一张图有H个 local features

对所有的f和g值做normalize ，使每个值都在\[0,1)之间

计算两个fi gi之间距离的公式

![20190419164744535.png][]

D(H\*H)

两张图之间的local distance = 从(1,1)到(H,H)的最短路径的距离总和

Si,j代表从(1,1)到(i,j)的最短路径的总距离， SH,H代表两张图之间的最短路径的总距离

![20190419164751617.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70][]

*  如何理解corresponding and non-corresponding parts alignments ？

两张图片的相似度 = 两张图片local features的最短路径的距离总和

最短路径由corresponding parts 的alignments 构成

non-corresponding的alignments 也有辅助构建的作用

基于公式1，non-corresponding的alignments的距离贡献度很低

*  如何构建AlignedReID的损失函数？

已知:2张图的相似度，由他们的global 距离和local 距离决定

用TriHard loss 作为metric learning loss

对于任意一个图片需要2个global distances

同一个行人相似度最差的另一张图的global distances

两张相似度最近的，但不是同一个行人的另一张图片的global distances

*  如何计算triplet？

Both the global distance and the local distance with different margins.

*  为什么使用 global distance来挖掘hard samples？

计算global distance比计算local distance效率更高

效果差不多

*  为什么在预测时不使用local features，而只使用global features？

已知：训练时都需要 预测时只需要global features来计算相似度

直接原因：效果差不多

原因：训练时，联合学习，胜过只用global features学习

训练时，local features帮助寻找对应的身体部位，global features就能更多的专注人体识别，而不去纠结背景的干扰

3.2

*  为什么要使用Mutual Learning？

为了增强模型效果

前人贡献：

distillation-based model 将知识从预先训练好的large teacher network 传递到smaller student network

只使用了Kullback-Leibler (KL) 距离

本文特点：

同时训练一组  student network，让他们相互学习

采取了损失函数联合体：

metric loss： 由global distances and the local distances 共同决定

metric mutual loss ：仅由global distances决定

classification loss：

classification mutual loss： 由KL divergence for classification 决定

*  如何理解mutual learning approach 结构图？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1][]

输入层是一个mini-batch images (N,w,h,c)

CNN globallocal features提取计算

两个CNN各自输出

以上4个matrix可以共建4个损失值

classification mutual loss帮助实现两个模型在classification上的相互学习

metric mutual loss帮助实现两个模型在metric learning上的相互教学

如何理解通过mutual learning loss公式来实现模型的相互学习？

![20190419164852526.png][]

主体结构：

求均值

ZG创新效果：加速收敛，提升预测准确度

4.1数据集

*  Market1501

32668图

6个摄像机视角中1501个标注的行人

训练集中有751个行人

测试集中有750个行人

*  CUHK03

1360个行人的13164张图

deformable part models (DPMs) 生成的bounding boxes

多物体的名称标示

*  CUHK-SYSU

含18184张图（990809个边界框）和8432个行人

训练集包含5532个行人的11206个图像

测试集包含2900个人的6978张图

*  如何适用训练数据？

用上述4组训练同一个模型

按照官方的数据要求训练测试，评估用rank--1 mAP

4.2

*  Base model

Resnet50 and Resnet50-Xception (Resnet-X)

ImageNet 上的pre training

Resnet50-Xception

用Xception cell 代替了3\*3filter kernel

Xception cell包含了一个3\*3通道卷积层和一个1\*1的空间卷积层

每个图像被resize到224\*224

水平翻转和裁剪

全局和局部距离的TriHardloss margins 设置为0.5

mini batch大小设置为160，其中每个标识有4个图像。 2000个mini batch/epochs

optimizer :Adam

learning rate :初始10e-3

80和160个次期间将学习率缩小0.1

*  mutual learning :

mutual loss (KL)权重为 0.01,

metric mutual loss 权重为0.001.Adam优化器的出事学习率为3 × 10-4 ，

60次被减少到10-4，

120减少到10-5，直到收敛

Re-ranking也是增强reid性能的有效手段。我们按照\[57\]中的方法完成。在所有我们实验中，我们整个了度量学习loss和分类loss

4.3

*  模型优势？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 2][]

有效对抗了对比图片出现的严重的misslignment问题

1.  ，右边行人的监测框是不准确的，头部错位的非常严重。AlignedReID模型用右边图像的前三部分根据最短路径匹配了左边图像的第一部分；

有效对抗图片出现严重缺陷的问题

有效处理人体模糊区域的识别和贡献度问题

有效从细微差异汇中区分相似度高的行人

[20190419164728323.png]: /images/20220217/532992c6b4a74fe29646d2cc7d8e7c54.png
[20190419164744535.png]: /images/20220217/5e4a3f77c5d24dbcb440cb51f925010a.png
[20190419164751617.png]: /images/20220217/e3e380c298a24c20b0da0627789376ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70]: /images/20220217/c7bcf700f2f44942b4e3b549a11de7d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1]: /images/20220217/ecdbb8998bfc4d0d86fb2d4c1d6874f7.png
[20190419164852526.png]: /images/20220217/af35151124a24fbc892eff56215bcad1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 2]: /images/20220217/07587aa0c4c04e36a1af954066f68b25.png