关于数据集不平衡的处理方式

布满荆棘的人生 2024-04-17 18:32 68阅读 0赞

### 前言 ###

最近在学习机器挖掘内容，其中有一个问题应该是大家都会碰到的问题，就是如果样本数据中类别样本个数相差巨大该如何处理，比如，A类别100个样本，B类别10000个样本。这样类别差别训练模型实际效果并不理想。所以需要一个方法来解决这个问题。

### 技巧 ###

[欠采样（undersampling）和过采样（oversampling）会对模型带来怎样的影响？][undersampling_oversampling]这篇文章讲解了很多东西，其实大家可以看看，其中也有用模型来实际训练模型来得到一些结果，可以看出来Oversampling方法和 SMOTE方法都非常有效，对实验提升较大。作者总结了一个方法：使用过采样（或 smote）+ XGBOOST 比较适合不平衡的数据，可以将这个方法作为一个Baseline方法。

### 应用场景 ###

其实很多场景里会出现这个问题，比如：垃圾邮件识别，微博垃圾用户，虚假信息识别等，这些都是反例样本很少、正例样本多的场景，这里都可以应用本文的技巧来处理数据。

### 代码实测 ###

from collections import Counter
    from sklearn.datasets import make_classification
    from sklearn.metrics import f1_score
    from sklearn.ensemble import RandomForestClassifier
    from sklearn import datasets
    import pandas as pd
    import numpy as np
    
    ## 定义的一个随机森林的方法，参数是训练集，利用训练集来训练，并且用来做验证
    
    def RandomForestTest(x_train,y_train):  
        RF = RandomForestClassifier(n_jobs=3)
        # 训练样本
        RF.fit(x_train, y_train)
    
        y_pred_train = RF.predict(x_train)
        
        f1 = f1_score(y_train,y_pred_train)
        print("train F1 : {:.3f}".format(f1))
        
    ### 读取数据集
    dataPath = "datalab/37451/"
    dataFile = "creditcard.csv"
    data = pd.read_csv(dataPath + dataFile , encoding='utf-8')
    
    ### 看一下 class 的值信息
    print(data['Class'].value_counts())
    
    ###   负采样 方法，
    
    def dataProcess(data):
        # Shuffle the Dataset.
        shuffled_df = data.sample(frac=1,random_state=4)
    
        # Put all the fraud class in a separate dataset.
        fraud_df = shuffled_df.loc[shuffled_df['Class'] == 1]
    
        #Randomly select 492 observations from the non-fraud (majority class)
        non_fraud_df=shuffled_df.loc[shuffled_df['Class']== 0].sample(n=492,random_state=42)
    
        # Concatenate both dataframes again
        normalized_df = pd.concat([fraud_df, non_fraud_df])
        print(normalized_df.shape)
        return normalized_df
    
    
    normalized_df = dataProcess(data)
    normalized_df.head(2)
    
    
    ### 不同的  数据集到方法中，看下拟合效率
    
    x = data.drop('Class', axis=1)
    y = data['Class']
    
    RandomForestTest(x,y)
    
    print(" - - - -  负采样后 - - - - ")
    
    
    x_nor = normalized_df.drop('Class', axis=1)
    y_nor = normalized_df['Class']
    RandomForestTest(x_nor,y_nor)

结果：

0    284315
    1       492
    Name: Class, dtype: int64
    
    
    train F1 : 0.969
     - - - -  负采样后 - - - - 
    train F1 : 0.995

不过这个后续还要多补充一些，比如 上采样的实验，以及测试集的指标来说明情况，因为目前都是用训练集来做，第二个训练集的数据还特别少。  
完整的代码在我的github账号里，欢迎大家来看看，附上链接：[inbalanceDataTest.ipynb][]

### 参考博客 ###

[欠采样（undersampling）和过采样（oversampling）会对模型带来怎样的影响？][undersampling_oversampling]  
[Imblearn package study（不平衡数据处理之过采样、下采样、综合采样）][Imblearn package study]

[undersampling_oversampling]: https://www.zhihu.com/question/269698662/answer/352279936
[inbalanceDataTest.ipynb]: https://github.com/Klauszhao/GameCode/blob/master/inbalanceDataTest.ipynb
[Imblearn package study]: https://blog.csdn.net/kizgel/article/details/78553009#5-ensemble%E7%9A%84%E4%BE%8B%E5%AD%90