Triple Loss

- 日理万妓 2021-11-23 21:16 226阅读 0赞

1.  Pass Anchor image through all layers
2.  Pass Positive image through same layers
3.  Pass Negative image through same layers
4.  Compute Loss: L(A,P,N) = max(|| f(A) - f( P) ||2 - || f(A) - f(N) ||2 + alpha, 0

前言】  
最近，learning to rank 的思想逐渐被应用到很多领域，比如google用来做人脸识别（faceNet），微软Jingdong Wang 用来做 person-reid 等等。learning to rank中其中重要的一个步骤就是找到一个好的similarity function，而triplet loss是用的非常广泛的一种。

【理解triplet】

如上图所示，triplet是一个三元组，这个三元组是这样构成的：从训练数据集中随机选一个样本，该样本称为Anchor，然后再随机选取一个和Anchor (记为x\_a)属于同一类的样本和不同类的样本,这两个样本对应的称为Positive (记为x\_p)和Negative (记为x\_n)，由此构成一个（Anchor，Positive，Negative）三元组。

【理解triplet loss】  
有了上面的triplet的概念， triplet loss就好理解了。针对三元组中的每个元素（样本），训练一个参数共享或者不共享的网络，得到三个元素的特征表达，分别记为： 。triplet loss的目的就是通过学习，让x\_a和x\_p特征表达之间的距离尽可能小，而x\_a和x\_n的特征表达之间的距离尽可能大，并且要让x\_a与x\_n之间的距离和x\_a与x\_p之间的距离之间有一个最小的间隔。公式化的表示就是：

对应的目标函数也就很清楚了：  
  
这里距离用欧式距离度量，+表示\[\]内的值大于零的时候，取该值为损失，小于零的时候，损失为零。  
由目标函数可以看出:

当x\_a与x\_n之间的距离 < x\_a与x\_p之间的距离加时，\[\]内的值大于零，就会产生损失。  
当x\_a与x\_n之间的距离 >= x\_a与x\_p之间的距离加时，损失为零。  
【triplet loss 梯度推导】  
上述目标函数记为L。则当第i个triplet损失大于零的时候，仅就上述公式而言，有：

【算法实现时候的提示】  
可以看到，对x\_p和x\_n特征表达的梯度刚好利用了求损失时候的中间结果，给的启示就是，如果在CNN中实现 triplet loss layer, 如果能够在前向传播中存储着两个中间结果，反向传播的时候就能避免重复计算。这仅仅是算法实现时候的一个Trick。  
\---------------------  
作者：tangwei2014  
来源：CSDN  
原文：https://blog.csdn.net/tangwei2014/article/details/46788025  
版权声明：本文为博主原创文章，转载请附上博文链接！

转载于:https://www.cnblogs.com/heixialee/p/11125954.html