论文阅读：cvpr2020 行人重识别 Relation-Aware Global Attention

超、凢脫俗 2022-09-16 14:23 160阅读 0赞

Relation-Aware Global Attention for Person Re-identification阅读笔记

作者：Zhizheng Zhang， Cuiling Lan，Wenjun Zeng，Xin Jin，Zhibo Chen  
来源：CVPR 2020  
文章链接：https://arxiv.org/pdf/1904.02998v1.pdf  
代码链接：https://github.com/microsoft/Relation-Aware-Global-Attention-Networks  
动机：在行人重识别研究中，注意力机制可以强化区分特征，抑制无关特征。  
以前的方法通常使用局部卷积来学习注意力，忽略了从全局结构模式中挖掘知识。作者为了使网络更好的进行attention学习,提出了Relation-Aware Global Attention (RGA) module。  
解决方法：  
1、作者通过设计attention,让网络提取更具有区别度的特征信息。简单来说，就是给行人不同部位的特征加上一个权重，从而达到对区分特征的增强，无关特征的抑制。  
2、作者在这篇论文中提出了一个Relation-Aware Global Attention (RGA) 模型挖掘全局结构相关信息，使得attention集中在有区分度的人体部位，并且考虑到每个特征节点和全局特征之间的关系。用来模拟人的视觉系统，对不同的特征付出不同的注意力。  
3、对于每一个代表空间位置的特征向量节点，取所有节点之间的成对关系，加上当前节点来表征全局结构信息。对于一个特征集合V = \{xi ∈ R d , i = 1, · · · , N\}，有N个相关特征，通过学习一个表示的mask矩阵，用a=(a1, · · · , aN )表示，用来衡量每个特征的重要程度，通过attention更新的特征为zi = ai\*xi，主要任务就是学习ai的值。  
方法亮点：  
如下图所示，在作者之前的attention学习中，有两种普遍的学习方法，分别为下图中的a和b。a1, · · · , a5 对应于五个特征向量 x1, · · · , x5的attention值。  
a) 使用卷积神经网络，对每一个特征x,学习一个attention值，因此只能学习到局部特征，而忽视了全局特征。  
b) 使用全连接网络，学习到的attention值来自于所有特征向量的连接，虽然学习到了全局特征，但参数量过大，计算量太大。  
c) 通过考虑全局的相关信息学习attention值，即对每一个特征向量，全局的关联信息用一个关系对ri = \[ri,1, · · · , ri,5, r1,i, · · · , r5,i\]表示，其中ri,1表示第i个特征节点和第一个特征节点的关系，以此类推。用一个符号ri&j = \[ri,j , rj,i\]表示,所有的ri&j组合可以得到x1一个关联特征，组合在一起得到下图中的特征向量r1，再和原始特征向量x1拼接，得到一个relation-aware feature y1, y1 = \[x1, r1 \],作为提取attention的特征向量。因此可以看出，基于特征x1得到的attention值a1既包含了局部特征x1,又包含了全局所有特征之间的关系。

参考：  
https://blog.csdn.net/baidu\_41622980/article/details/107849683

模型介绍及代码实现：  
可以看下面这链接：给出了模型的代码重点介绍，  
https://blog.csdn.net/sol\_data12/article/details/113622644

https://www.pythonheidong.com/blog/article/564949/4c71b25d25714d9841f3/  
原始的resnet50 代码介绍 这里面代码步骤比较详细一点

论文翻译：https://blog.csdn.net/qq\_34124009/article/details/108483667  
这篇翻译的有点水 凑合看看  
加一些自己的总结：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]

https://download.csdn.net/download/zqx951102/33676300  
全部的ppt我上传在这了 感兴趣的可以下载。

相互关联的博客：  
https://blog.csdn.net/baidu\_41617231/article/details/107271242?utm\_medium=distribute.pc\_relevant.none-task-blog-2defaultCTRLISTdefault-2.no\_search\_link&depth\_1-utm\_source=distribute.pc\_relevant.none-task-blog-2defaultCTRLISTdefault-2.no\_search\_link  
介绍三篇2020年 论文的主要思想：  
Relation-Aware Global Attention for Person Re-identiﬁcation（CVPR2020）  
Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identiﬁcation（CVPR2020）  
Relation Network for Person Re-identiﬁcation（AAAI2020）

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/c4c9f265f7314797bb05b3c1d4491989.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/4b7fe6e85bff4685831de0ee70614b4a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: /images/20220828/c5d267519abf4730b127e75e78b5be42.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenF4OTUxMTAy_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]: /images/20220828/b0f4e20946a844d6990ec7deb7f5e4ca.png