《A Discriminative Feature Learning Approach for Deep Face Recognition》论文笔记

逃离我推掉我的手 2022-05-11 04:14 164阅读 0赞

# 1. 论文思想 #

在这篇文章中尉人脸识别提出了一种损失函数，叫做center loss，在网络中加入该损失函数之后可以使得网络学习每类特征的中心，惩罚每类的特征与中心之间的距离。并且该损失函数是可训练的，并且在CNN中容易优化。那么，将center loss与softmax相结合会增加CNN网络的鲁棒性。

在网络中增加center loss的损失函数的思想便是使得类间距变大，类内部间距变小，从而使得分类边界更加明了，类内部更加凝聚（方差减小）。那么这篇文章的主要工作就集中在：  
（1）提出了新的损失函数center loss，通过实验证明CNN中加入softmax loss与center loss之后使得网络更加鲁棒。  
（2）提出的损失函数在CNN网络中是很容易实现的，可以通过SGD直接进行训练的。

这里只关心了center loss对于其它人脸的部分就不仔细看了-\_-||。。。

# 2. 实验尝试 #

这里论文使用MNIST数据集和包含两层全连接层的网络进行实验。试验中将第一个全连接层的输出设置为2，目的是为了方便进行可视化观测。对于一般的多分类模型都是采用softmax作为最后一层，那么梯度的源头便是softmax loss。那么对于softmax loss损失函数一般定义成为如下交叉熵的形式：（为啥是这样的形式？请参考：[平方损失函数与交叉熵损失函数][Link 1]）  
 L s = − ∑ i = 1 m l o g e W y i T x i + b y i ∑ j = 1 n e W j T x i + b y i L\_\{s\}=-\\sum\_\{i=1\}^\{m\}log\\frac\{e^\{W\_\{y\_\{i\}\}^\{T\}x\_\{i\}+b\_\{y\_\{i\}\}\}\}\{\\sum\_\{j=1\}^\{n\} e^\{W\_\{j\}^\{T\}x\_\{i\}+b\_\{y\_\{i\}\}\}\} Ls=−i=1∑mlog∑j=1neWjTxi\+byieWyiTxi\+byi  
其中， x i x\_i xi是特征第一个全连接层输出的特征向量， m m m是batch size的大小， n n n是softmax分类的数目。那么使用softmax loss的网络第一个全连接层的输出进行可视化得到的结果是  
![在这里插入图片描述][70]  
左边的是训练集的可视化结果，右边是测试集的可视化结果。可以看到softmax确实是可以将10个类分开，并且具有比较明显的边界信息。但是，每个类的类内方差比较大，类间距也比较小。这就导致了测试集中部分数据的混淆。

## 2.1 祭出Center Loss ##

在文章中将Center Loss定义为如下形式：  
 L c = 1 2 ∑ i = 1 m ∣ ∣ x i – c y i ∣ ∣ 2 2 L\_c=\\frac\{1\}\{2\} \\sum\_\{i=1\}^\{m\}||x\_i – c\_\{y\_\{i\}\}||\_\{2\}^\{2\} Lc=21i=1∑m∣∣xi–cyi∣∣22  
其中， c y i c\_\{y\_\{i\}\} cyi 代表的是每个类聚类的中心，而且该值应该随着网络的变换而变化。在进行训练的时候为了使用batch更新，并且对一些异常的数据，使用 α \\alpha α进行调和，该值在 \[ 0 , 1 \] \[0,1\] \[0,1\]之间。对于每个输入的特征向量 x i x\_i xi进行求导，聚类中心 c y i c\_\{y\_\{i\}\} cyi的更新参照如下梯度，从而得到：  
![在这里插入图片描述][70 1]  
上式中的 δ ( c o n d i t i o n ) \\delta (condition) δ(condition)是一个条件函数，在条件满足的时候是1，否则取值为0。那么接下来的事情就是怎么将两个loss结合起来了。文章中使用的是加权相加的形式，使用参数 λ \\lambda λ去调和这两个loss了  
![在这里插入图片描述][70 2]  
那么这个算法的流程就可以描述为：  
![在这里插入图片描述][70 3]  
对于不同的参数 λ \\lambda λ对最后结果的影响可以通过下图来进行说明：  
![在这里插入图片描述][70 4]  
可以看到参数 λ \\lambda λ越大，center loss所占的权重越大，则数据就越向中心聚集。

[Link 1]: https://blog.csdn.net/m_buddy/article/details/80224409
[70]: /images/20220511/cf9c94aafeed4d5bbdea204f4024fd5c.png
[70 1]: /images/20220511/b784806757e442548a3a6d5493ee3c7c.png
[70 2]: /images/20220511/41bd552b04ce419dbd7da2cd94d0d11c.png
[70 3]: /images/20220511/31647d1c09ee41e78f3dc47e34aff53c.png
[70 4]: /images/20220511/0c309e1a1f7d41559f17aab95fdc77bf.png