Focal Loss for Dense Object Detection 概要

分手后的思念是犯贱 2021-09-15 02:38 250阅读 0赞

**主要内容：Loss函数**  
文章提出一种loss函数，针对在one-stage模型中提取区域的foreground和background类别不平衡问题（正负样本比例接近1000）。  
其中分析对于two-stage R-CNN类型模型主要通过cascade和heuristics方法解决。在proposal stage使用算法减少候选区域的同时除去大量background Samples，而在classification stage使用sampling heuristic（固定foreground-background比例）或OHEM方法控制一种比例。该函数如下：  
![这里写图片描述][SouthEast]  
对于二分类，其中pt表示样本为真概率，gamma控制对难分样本的学习程度，alpha控制类别不平衡度。个人觉得alpha作用不大，文中也提到alpha对性能只有些许提升。可以理解如果模型输出pt=0.8，一个高的pt会导致(1-pt)^gamma较低，也就是loss较小，反之，如果pt=0.1，就会得到个较大loss。从而控制模型学习难分样本。一般情况gamma（\[0.5,5\]）越大，alpha（\[0.25,75\]）越小。文中取gamma=2，alpha=0.25最好。

**optimization：**  
90K iteration  
lr=0.01 在60K时除以10 ，在80K时除以10  
weight decay = 0.0001  
momentum=0.9  
对Box Regression使用standard smooth L1 loss  
在new conv layer中除最后一层使用b=0， Gaussian σ=0.001  
最后一层conv layer使用![这里写图片描述][SouthEast 1](pai=0.01)，文中说一开始没有使用这个，模型失败了，在使用该初始化后使得模型更有效的学习。原因是这样可以避免在开始迭代时大量background样本占据loss的控制权。

[他人详细版][Link 1]  
[他人推理过程][Link 2]  
[Focal loss keras实现][Focal loss keras]

[SouthEast]: /images/20210520/925207c1d3c84a85b480c6656a51b949.png
[SouthEast 1]: /images/20210520/4dfe447512d04512836b953cc35b370d.png
[Link 1]: https://blog.csdn.net/qq_34564947/article/details/77200104
[Link 2]: https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/78920998
[Focal loss keras]: https://blog.csdn.net/qq_16234613/article/details/79555826