【论文笔记】Pose Transferrable Person Re-Identification

超、凢脫俗 2022-03-31 04:58 199阅读 0赞

**Abstract**

行人重识别领域的一个关键挑战是如何在当前的标准数据集(Market1501,DukeMTMC-reID,CUHK03)没有充足的行人姿态变换的数据的情况下 训练一个鲁棒的行人重识别系统。 为了解决这个问题，论文提出了一个可变换行人姿态的行人重识别框架。

**1. Introduction**

姿态的变化是阻碍学习一个鲁棒Reid模型的关键因素之一。最近，基于方法的深度卷积网络也已经被广泛地研究，包括学习深度的特征和判别指标去解决Reid任务中“类别多样本少”的问题。

基于近来比较成功的GAN，Zheng\[50\]提出了生成大量不带标签的行人样本和分配统一标签去生成不带标签的图像用于Reid特征学习。然而，这些非监督的样本生成方法存在一些问题：1）非监督样本不能为训练模型带来足够的判别信息2）由于人门形体的复杂性，直接应用传统的GAN，将只能产生严重扭曲的行人样本3）更重要的是，早期的GAN模型只能试图生成更好的视觉样本，并不能针对Reid中更好的判别力，这严重限制了生成样本的使用。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70][]

为了明确的解决这个问题，這篇论文提出了一个新颖的姿态转换框架，在单帧情况下为可判别Reid训练模型生成监督样本。动机如图所示。首先，观察MARS \[44\]数据集具有丰富的人体姿势变化，提出的生成方案是从中提取姿势（即骨架），以及 然后基于GAN模型的新变体在新姿势中生成监督样本增强。其次，与之前的GAN模型只考虑生成的样本是否看起来真实相反，我们提出的生成网络采用了一个导向模块，该模块具有ReID交叉熵损失或三重态损失。导向器子网与传统鉴别器协同工作，共同追求良好的视觉质量以及ReID的极大判别力。此外，为了在训练期间平衡实际样本和生成样本之间的贡献，我们使用标签平滑度方案进行交叉熵训练，并调整三元组采样策略和模型训练的余量。大量的实验结果表明，我们的方法可以增强学习的ReID模型的表示能力和辨别力。 与此同时，提出的想法是普遍的，可以很容易地扩展到其他任务，这些任务需要人体样本增加与姿势变化，如行人检测和行人跟踪等。

**2. Related Work**  
进来生成对抗网络已经得到广泛研究。一方面，一些研究探索了改善模型结构和优化模式。他们的研究主要是的GAN模型能够生成更加真实的样本或者更容易优化。另一方面，许多研究聚焦在GAN的应用。行人重识别因为其重要的应用价值而引起关注。大多数研究都集中在两个方面，增强特征学习和距离度量学习。然而，设计深度网络和距离度量很容易导致过拟合。GAN被用于生成具有多种背景的样本去增强ReId模型，然而许多行人姿态没有考虑在内，一些研究用生成的不代标签的样本改善效果，然而严重的畸变和不带标签的样本限制了改进。我们提出了生成已标记的多种姿态的样本以提升ReID模型的效果。并且预训练的ReID模型用于指导GAN的训练并使生成的样本更适合于行人的ReID任务。

**3. Methodology  
3.1. Motivation and Overview**

增强Reid训练模型学习的关键是提供充足的训练数据，并且这些数据可以覆盖广泛地行人姿态变化。最近，很少有研究\[50\]试图利用生成对抗训练方案进行数据增强。然而基于以上提到的，这些方法存在一些缺陷：1）生成的样本不能带有准确的信息，这导致只能改善歧视性的边际ReID模型训练2）直接应用GAN只能考虑生成的样本时候看起来真实，这个跟Reid的效果没有任何联系。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1][]

为了解决这些问题，我们提出了一个姿态转换Reid结构，如图2。我们的框架包含了两个部分，第一，被最近一些骨骼到图像的方法启发，我们将来自富含姿势的数据集（如MARS）的大量姿势（即骨架）转移到ReID基准中的标记人类实例上，因此会生成大量标记数据。第二，我们提出了一个导向器子网络，它与GAN中的传统鉴别器配对，以便直接促进判别性功率提升（即，交叉熵损失或三重态ReID丢失）。

**3.2. Pose Transfer Module: Generator-GuiderDiscriminator  
3.2.1 Skeleton-to-Image Generation**  
训练一个skeleton-to-image 网络需要输入三元组数据：一个行人的图片 x ，一个不同姿态的骨架图片 s ，真实的行人 x 以姿态 s 走路的图片y。骨骼提取用\[3\]中提出的姿态检测算法来收集相应的骨架表示。测试的时候，通过G  将随机噪声 z 、一个行人图片 x 和一个 新的姿态图片 s 转换成行人 x 以 s 姿态在走路的图片 y^ . 判别器 D 则辨别三元组 (x,s,y) 和 (x,s,^y) 。实现时，将(x,s,y) 和(x,s,^y)  作为不同的 channel 同时输入到判别器中。另外，为了减小重建误差，论文加了一个 L1 loss， 最终的目标函数如下：

![20190102120036418.png][]

**3.2.2 Guider Module: ReID Boosting**

论文认为上面的 skeleton-to-image 模型只考虑了使生成的图片尽可能的看起来真实，但并不能保证用这些数据来给ReID模型训练可以提升 ReID 模型的性能。所以论文提出了一个新的 guider 模块来使得生成的图片更好的适应 ReID 问题。也就是说，G 生成的图片要同时输入到判别器 D 和 Guider  R 中。这里的 Guider  R 其实就  在目标数据集上预训练好的 ReID 模型。在训练G-R-D网络的时候需要固定 R 的参数 。 通过两种类型的损失函数设计迫使^ y的接近y：1）交叉熵损失和2）Triplet 损失

Cross-Entropy based Guider Loss：

![20190102120527780.png][]

Triplet based Guider Loss：

三元组按照\[28\]中的方法进行选择，对于同一个行人 a 的每张图片，取y^a作为 anchor， 正样本 ra 从行人 a 的真实图片中选出，而负样本y^b 则是从生成的行人 b 的图片中采样而来。对构建好的三元组集合 ， Guider 的 loss 如下 di,j是ReId模型输出的两个特征R(i)和R(j)之间的l2距离，α代表margin（不是很懂）

![20190102120657811.png][]

Summary：

![20190102120940599.png][]

总结：整个的行人样本生成器网络包含了三个部分，生成器、判别器、引导器，训练生成网络的完整的损失函数是所有以上损失函数的加权和 λ和β是两个损失函数的权重 LR(G)是一个交叉熵损失或是Triplet损失。

优化目标定义为：

![20190102125824970.png][]

**3.3. Training with Balanced Data**

通过上述方法，可以为目标数据集中的每个行人生成大量的各种姿态下的图片数据用作训练。但是，要生成逼真的行人图片仍旧困难。因此，在训练 ReID 模型的过程中，不可以认为生成的行人 k 的图片和真实的行人 k 的图片一样可靠。在实验中，作者发现，使用过多的生成样本去训练ReID 模型反而会导致模型性能的下降。因此，论文使用一个 soft labeling 来替代 hard label（给每张生成的图片一个确定的标签）。

在交叉熵损失下，我们用LSR（label smoothing regularization 标签平滑正则化），这个方法是在\[30\]中被再次发现，用来对生成的样本再加权：

![20190102130118668.png][]

![20190102130154291.png][]代表了训练数据预定义的类别，K是类别数量，y是 ground truth,![20190102130210718.png][]代表ground truth的置信度，这是一个可以根据生成图片质量调整的超参数，为0是真实图像，带有LSR的交叉熵损失函数如下：

![20190102130240740.png][]

在Triplet损失函数中，一个类似的想法是当三元组包含生成的图像时调整差值α。并且，选择三元组的方式能够按照如下方式改善。在增加了生成的图像到目标数据集中后，我们按照\[28\]中的方法构建三元组\{xa，xp, xn\},在一个batch中，每个样本是一个anchor,当anchor是真实图像时为正anchor。当一个anchor是一个生成的图像的话，正anchor和负anchor会从扩展的训练集中选出来，然后为三元组损失减少margin α。这种方式会阻碍我们给生成的图像太多的权重，并且影响Reid模型的训练。

**3.4. Network Architecture**  
我们的模型中生成器和判别器跟\[36\]中一样，生成器是siamese+U-net结构，判别器有一和简单的堆叠结构。生成器的输入是一个图像和骨骼，骨骼是通过实时人体姿势估计器\[3\]提取。生成器的输出会被送到判别器跟引导器中，除了输入的数据来自MARS外。在我们的研究中，我们用ResNet-50\[12\]和Densenet-169\[14\]分别作为Reid模型的主干。

**4. Experiments**

**4.1. Datasets and Evaluation Protocols**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 2][]

目标数据集 Market1501 是一个基于图像的Reid数据集，训练集由12936张图像组成，平均每个人有17.2张图

DukeMTMC-reID是基于图像的ReID的DukeMTMC \[27\]的子集，它的训练集包含了702个人的16522张图

CUHK03 包含了1246个人的14096张图

这三个数据集的训练集仅具有有限的姿势变化，这限制了其性能，因此实验在这三个数据集上可以有效地验证我们的方法的有效性。

MARS：基于视频的大型ReID数据集 包含丰富的姿势变化

将MARS中的不同姿态转移到以上提到的数据集中以增强Reid模型。 我们用两个维度去评估我们Reid算法的性能，命中率和map。

**4.2. Implementation Details**

1)在目标数据集上训练Reid模型 (i.e., Market1501, DukeMTMC-reID, CUHK03)）

2)用于训练模型，称为引导器，引导骨骼-图像的生成器。输入对来自目标数据集和MARS的训练集

3)整合目标数据集的外观和MARS的骨骼图像，用他们生成大量带标签的姿态变换样本去增强Reid模型

预训练Reid模型作为引导器:

实验参数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 3][]

R-CE 代表交叉熵损失的ResNet-50 ， D-Tri 代表三元组损失的DenseNet-169

CUHK03 分别用交叉熵损失和三元组损失训练了ResNet-50 没有用DenseNet-169 模型，因为它的性能跟ResNet-50 在这个数据集上类似 设置与Market1501和DukeMTMC-reID上训练R-CE和D-Tri的实验相同

输入图像的大小都resize到256\*256，训练期间并在训练期间随机水平翻转随机裁剪为224×224。测试时，输入图像大小resize到256\*256并且中心裁剪为224\*224.没有使用其他数据增加方式

促进骨骼到图像的训练：实验参数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 4][]

**4.3. Comparison Results and Discussions**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 5][]

论文在3个公开的数据集(Market1501,DukeMTMC-reID,CUHK03)上测试了文中方法的性能。选这三个数据集的原因是它们的训练数据中同一个行人的姿态不多。用ResNet-50做baseline，比较结果如图。 论文先跟不使用生成数据训练的baseline 做比较，然后跟用真实数据和无监督方法LSRO生成的无标签样本图片数据一起训练的模型作比较。

Comparison with state-of-the-arts

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 6][]

**4.4. Component Analysis**  
  
对引导器的效率进行分析 在图3呈现了这三个数据集生成的样本。分别是R-CE下有guider和没有guider的图![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 7][]

数据集Market1501 上比较了R-CE和D-Tri的引导器 用两种引导器生成的样本如图4,生成样本的视觉质量没有受到两种方式的影响 做了一个交叉实验。（引导器与训练Reid网络结构不同？？） 结论  ：为了更好的性能，最好保持引导器形式和Reid模型一致。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 8][]

**4.5. Parameter Analysis**

分析姿势转换样本的数量N :分析目标数据集中每个生成样本的数量的图像对ReID模型性能的影响

ResNet-50 +交叉熵损失作为引导器

结论：样本数量的进一步增加，性能会轻微下降

两个影响Reid模型性能的另外两个参数 CUHK03 上分析了这两个参数的影响，结果如图我们观察到我们ε=0.4，α=0.5时生成的样本（将生成的样本等同于真实样本）效果最好，注意到ε=0，α=1会限制性能的改善。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 9][]

**5. Conclusion**  
在这项研究中，提出了一个姿态转换的行人重识别框架，它能将一个数据集中的姿态转移到另一个数据集中。姿态转换生成的样本会增加目标数据集中姿态变化的丰富性，增强Reid模型。作为一种特别的数据增加方式，研究可以被用来基于增强特征学习和度量学习的方法。在未来，还将扩展这种方法到行人检测和行人跟踪当中。

**【小结】**

\[问题\]

Reid模型训练缺少数据集，现有数据集缺少同一个人的姿态变换，现有的基于GAN的生成的非监督样本存在许多问题

\[方法\]

姿态转换：从含有丰富姿态变换的数据集中提取骨骼与目标数据集行人外观结合生成数据，增加数据集

预训练引导器：为了使生成的数据集能增强Reid模型性能，所以将一个预训练模型作为引导器

\[实验\]

网络结构  ResNet-50/Densenet-169

引导器loss：Cross-Entropy/Triplet

数据集：(target)Market1501/DukeMTMC-reID/CUHK03      (skeleton)MARS

步骤：在目标数据集上训练reid模型->作为引导器生成图像->用声称的图像增强Reid模型

分析：与baseline、非监督样本生成方法、最先进的方法分别比较实验结果

验证引导器作用：比较在有guider和没有guider情况下生成的图

交叉实验（这个想法很新奇，但是得出的结论就是还是最后保持一致，嗯有点。。。。）

参数分析：生成的样本数量对Reid模型训练的影响

另外两个超参数

\[心得\]

精读的第一篇paper,中国人写的缘故吧，所以看的还不那么艰难，全程自己翻译，发现自己看跟直接看别人写的笔记差别还是挺大的，当然自己理解也可能有偏差。其他的也没什么想法，毕竟见多才能识广，现在只觉得paper里想法很好，解决方案很好，实验结果以及分析的思路也很好。

\[补充\]

LSR

一种优化策略 Label Smoothing Regularization（LSR）是一种通过在输出y中添加噪声，实现对模型进行约束，降低模型过拟合（overfitting）程度的一种约束方法（regularization methed）。

背景

通常采用类似one-hot-to-vec的0或1的方式，对真实分布q（y|x）进行编码 这样的编码方式存在两个明显的问题 ：可能导致过拟合。0或1的标记方式导致模型概率估计值为1，或接近于1，这样的编码方式不够soft，容易导致过拟合

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 10][]

假设q（y|x）表示label y的真实分布；u（y）表示一个关于label y，且独立于观测样本x（与x无关）的固定且已知的分布，通过下面公式（1）重写label y的分布q（y|x）： 其中，e属于\[0,1\]。把label y的真实分布q（y|x）与固定的分布u（y）按照1-e和e的权重混合在一起，构成一个新的分布。这相当于对label y中加入噪声，y值有e的概率来自于分布u（k）。 为方便计算，u（y）一般服从简单的均匀分布，则u（y）=1/K，K表示模型预测类别数目。因此，公式（1）表示成公式（2）所示： 注意，LSR可以防止模型把预测值过度集中在概率较大类别上，把一些概率分到其他概率较小类别上。 从交叉熵的角度，可以得到关于LSR的另一个解释。引入噪声分布u（k）之后，模型的交叉熵loss公式变为公式（3）所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 11][]

【参考】

[优化策略5 Label Smoothing Regularization\_LSR原理分析][5 Label Smoothing Regularization_LSR]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70]: /images/20220331/9205ca13a2364aaebf27521e15f9edb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1]: /images/20220331/a4b3386b9ae34f58b518f4c4be9cf1df.png
[20190102120036418.png]: /images/20220331/06bc74d236df42d19f1e7f54c1779fc7.png
[20190102120527780.png]: /images/20220331/6184e61b6a1c4e4793c5d3974e9a00dc.png
[20190102120657811.png]: /images/20220331/e59931dd2d204e5d9dfbd7ffd44f7ce9.png
[20190102120940599.png]: /images/20220331/a5a74613f6854c45aa039314b563f97b.png
[20190102125824970.png]: /images/20220331/e7d5e22e85744908963aa382bd6c85cb.png
[20190102130118668.png]: /images/20220331/ffb28216292b4acf9e07120191a55024.png
[20190102130154291.png]: https://img-blog.csdnimg.cn/20190102130154291.png
[20190102130210718.png]: /images/20220331/6de7edee3ee74627a426a47330b00834.png
[20190102130240740.png]: /images/20220331/d6c8d66be8704b54b465bea59169abe7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 2]: /images/20220331/6c5dfe21f53c4ea09780b8288ca827c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 3]: /images/20220331/ca544691cdf24272afb9ed6bf466ab36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 4]: /images/20220331/3e5d9e90b1ed4279945922c6feddec2f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 5]: /images/20220331/7f896b7ff16d4eb0aff07f9b76d6d419.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 6]: /images/20220331/2ff1aad10bc64fad88cb58fd0e66140e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 7]: /images/20220331/21d3493004664071b83c5dae710e8a39.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 8]: /images/20220331/1ba6bbf7ce7042b8a8c0324983931a6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 9]: /images/20220331/b086fa0e42f844899bc97a94f28319ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 10]: /images/20220331/5ceb6f9f0e534934b82cfba0329c1faf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 11]: /images/20220331/d2fdea97555643f4aec7abf1a2155f15.png
[5 Label Smoothing Regularization_LSR]: https://blog.csdn.net/lqfarmer/article/details/74276680