类别不均衡处理办法总结

水深无声 2021-12-12 19:49 283阅读 0赞

对于深度学习而言，数据量不平衡是很常见的问题，如：工厂的产品缺陷率一般在 0.1% 左右，患者病例比较少等。最近遇到个项目，样本类别极其不均衡，多的类别有上万张，少的仅有几百张，为了有好的训练效果，尝试了很多方法，在这篇博客总结下我使用的，还有见到的一些方法。

### 一、过采样欠采样 ###

既然不平衡，那就想办法让他平衡，增加数据和减少数据。一般的方法是过采样和欠采样。

过采样的意思就是：把少数类别数量重复利用，相当于某个类别１００张，复制后，数据量就成为２００张。不过这种方法不推荐，可能会造成过拟合。最好是通过数据增强的方式来对少数类别的数量进行数据扩充。数据增强方式与代码：[链接][Link 1]

欠采样的意思就是：数据量大的类别数据并不是全部都使用，比如一万张图像，使用三四千张来作为训练数据。根据自己的数据量进行调整，尽量平衡。我就是使用了这个方法。

### 二、创造数据 ###

既然有一些类别数量很少，就想办法创造数据、生成数据。能尽量想办法找数据就找，一些公共数据集，或者去谷歌爬虫一些图片（[谷歌爬虫方法链接][Link 2]）

**方法１：**根据自己数量特征，想办法生成不同的背景。即保留特征，换背景（这种生成数据方法一般适用于类别数据特征比较明显，易分割）

**方法２：**SMOTE 及其衍生技术。这是个算法，我没用过，不过看到很多地方都提到这个算法，网上有实线，倒是可以试一试。

### 三、合并新的少数类别 ###

意思是根据自己的项目，将一些数据量少的类别进行一定的合并，比如，自行车、摩托车，统称为非机动车类别。根据自己需求来更改。

### 四、调整类权重 ###

如果类别不均衡很严重，神经网络会倾向与数据量大的类别进行预测，这显然不是我们想要的效果，所以需要对不同类别设置不同的重要程度，少类数据量少，我们更加应该关注。故需要对数据量少的类别加大权重

**方法１：更改交叉商损失**

交叉熵公式如下  
[![format_png][]][format_png 1]

在tensorflow中的函数是：tf.nn.softmax\_cross\_entropy\_with\_logits(logits=prediction,labels=y)

我们需要对类别设置一定的权重，设置的比例最好是与不同类别数据量比例相反。比如三类的数据量，１００，２００，３００这样我们需要设置的比例为３：２：１．如下面代码所示。这样对数据量少的类别加大了损失权重。这个方法可以使用多类别。

class_weight = tf.constant([3,2,1])
    y_class_weight = y*class_weight
    loss = -tf.reduce_mean(y_class_weight*tf.log(yprediction))

该方法我试过，不过没有很好的效果，当然这个比例是要调参的，没有放之四海皆准的。

**方法２：更换交叉商函数**

官方函数：tf.nn.weighted\_cross\_entropy\_with\_logits

之前普通的交叉熵函数定义为：

![\[公式\]][format_png 2]

就是在交叉熵的公式里面对应的少数类乘上一个系数：  
该函数实现的是：如果`pos_weights > 1`减小了错误负样本的权重，因此提高了recall。相反如果`pos_weights < 1`减小了错误正样本的权重，因此提高了precision。`pos_weight`是作为损失表达式中正目标项的乘法系数引入的。

![\[公式\]][format_png 3]

该方法也是不错的，不过我认为这个方法只适用于两类，正负样本，比如用于目标检测解决正负样本不均衡的问题，或者语义分割，如车道线检测。对于多分类效果好像没用，我试了下。

### 五、更改损失函数（Focal Loss） ###

论文：Focal Loss for Dense Object Detection   
论文链接：[https://arxiv.org/abs/1708.02002][https_arxiv.org_abs_1708.02002]

将损失函数更改为Focal Loss。这个损失是恺明大神提出来的。主要是来解决目标检测中正负样本不均衡的问题，这个损失函数是在标准交叉熵损失基础上修改得到的。这个函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本.这个函数已经有实现如下：

pytorch:[https://github.com/clcarwin/focal\_loss\_pytorch][https_github.com_clcarwin_focal_loss_pytorch]

tensorflow:[https://github.com/ailias/Focal-Loss-implement-on-Tensorflow][https_github.com_ailias_Focal-Loss-implement-on-Tensorflow]

mxnet:[https://github.com/unsky/focal-loss][https_github.com_unsky_focal-loss]

如果需要看Focal Loss损失函数讲解，推荐一个博客：[https://blog.csdn.net/u014380165/article/details/77019084][https_blog.csdn.net_u014380165_article_details_77019084]

### 六、更改评价标准 ###

评价标准很重要，因为如果你不知道该如何正确度量你的成果，你也就不能取得进展。当然既然样本都不均衡了，肯定不能使用单一的准确率来评价模型是否好了，比如使用：召回率、F１分数、一个 ROC 曲线、准确度召回曲线（precision-recall curve）等。西瓜上上有详细解析。

F1 分数（F1 Score）：是准确度（precision）和召回率（recall）的调和平均值

ROC 曲线下的面积（AUC）：是一个很好的一般统计。它等于一个随机的正面样本将得到比一个随机的负面样本更高排名的概率。

### 七、提高一些判别阈值 ###

当你得到概率估计之后，不要盲目地使用 0.50 的决策阈值来区分类别，提高一点。

[Link 1]: https://blog.csdn.net/comway_Li/article/details/82928974
[Link 2]: https://blog.csdn.net/comway_Li/article/details/93338992
[format_png]: /images/20211210/f571b0b273d54fd6866b5729fc473416.png
[format_png 1]: http://private.codecogs.com/eqnedit.php?latex=E=-%5Csum_%7Bk%7Dt_%7Bk%7Dlog&space;y_%7Bk%7D
[format_png 2]: /images/20211210/051c5dc1fded4a0886d57972908dd32b.png
[format_png 3]: /images/20211210/7023bf56aa3040f9bede8ae66b96e4f1.png
[https_arxiv.org_abs_1708.02002]: https://arxiv.org/abs/1708.02002
[https_github.com_clcarwin_focal_loss_pytorch]: https://github.com/clcarwin/focal_loss_pytorch
[https_github.com_ailias_Focal-Loss-implement-on-Tensorflow]: https://github.com/ailias/Focal-Loss-implement-on-Tensorflow
[https_github.com_unsky_focal-loss]: https://github.com/unsky/focal-loss
[https_blog.csdn.net_u014380165_article_details_77019084]: https://blog.csdn.net/u014380165/article/details/77019084