SDU项目实训记录1.5——异常值处理（7.2）

妖狐艹你老母 2022-10-12 01:22 97阅读 0赞

### SDU项目实训记录1.5——异常值处理 ###

*  一、四分位数
 *   *  1、理论知识
     *  2、实际操作
 *  二、箱形图
 *   *  1、理论知识
     *  2、实际操作
 *  三、Tukey‘s Test
 *   *  1、理论知识
     *  2、实际操作

> 虽然对异常值的处理这一部分导师在数据预处理过程中没有提及，但数据集明显存在异常值（见下文），所以自学并将其加入预处理环节。

# 一、四分位数 #

## 1、理论知识 ##

将一组数据由小到大排列并分成四等份：

最小的数值记为下界；  
位于1/4位置的数为下四分位数，记为Q1；  
位于1/2位置的数为中位数，记为Q2；  
位于3/4位置的数为上四分位数，记为Q3；  
最大的数值记为上界。  
![在这里插入图片描述][20210702144450676.png]

## 2、实际操作 ##

可以利用 **describe()** 查看数据集各特征的min、25%、50%、75%、max值（如下）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70]

# 二、箱形图 #

## 1、理论知识 ##

**箱形图：** 用上边缘、上四分位数、中位数、下四分位数、下边缘5个数字来表示一组数据分布的图形展现形式，因为形状如箱子而得名。  
![在这里插入图片描述][20210702144708755.png]

## 2、实际操作 ##

利用matplotlib自带的 **boxplot()** 可绘制各特征数值对应的箱形图（如下）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 1]

# 三、Tukey‘s Test #

## 1、理论知识 ##

*  Q3代表上四分位数，Q1代表下四分位数；
 *  k代表常数系数，当k=3时，代表极度异常值；  
    当k=1.5时，代表中度异常值，一般取1.5。
 *  IQR代表四分位距，包含了全部观察值的一半。

I Q R = Q 3 − Q 1 IQR = Q3-Q1 IQR=Q3−Q1  
最大值估计=  Q 3 + k ∗ I Q R Q3 + k \* IQR Q3\+k∗IQR  
最小值估计=  Q 1 − k ∗ I Q R Q1 - k \*IQR Q1−k∗IQR

**异常值**：小于最小值估计或大于最大值估计的值

## 2、实际操作 ##

利用**Tukey’s Test**检测可用额度比值、年龄、负债率、月收入的异常值并去除，代码如下：

for k in [2,3,5,6]: #遍历列 
        q1=dataset.iloc[:,k].quantile(0.25)  #计算下四分位数
        q3=dataset.iloc[:,k].quantile(0.75)  #计算上四分位数
        iqr=q3-q1
        low=q1-1.5*iqr
        up=q3+1.5*iqr
        if k==2:
            df1=dataset
        df1=df1[(df1.iloc[:,k]>low) & (df1.iloc[:,k]< up)]  #保留正常值范围
    dataset=df1
    dataset.info()
    dataset.iloc[:,[2,3,5,6]].boxplot(figsize=(10,6))

处理前：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 2]  
处理后：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 3]  
可见，数据由原本的120269条减为107467条，**去除了12802条包含异常值的数据**。  
对处理后的数据绘制箱形图，前三个属性箱体外几乎没有异常值，月收入也已去除超过最大值估计的异常值。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 4]  
绘制直方图查看处理后的数据分布（正态）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 5]  
**异常值处理完毕。**

[20210702144450676.png]: /images/20221005/0ac97e505549435099c5fc8bc72be8e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70]: /images/20221005/96fb698bfd09478b9399b0663ad1cea9.png
[20210702144708755.png]: /images/20221005/ebca0e0e29bd47ecb60b5aa7e04018fd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 1]: /images/20221005/c574d784154243da9c2ba6d919029625.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 2]: /images/20221005/927da0078c5e43f4ac7eb632aae2bdd5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 3]: /images/20221005/fd97d58aae5b496d90648d6cf1caf421.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 4]: /images/20221005/4172523802924ed6a36b9606b739a58e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 5]: /images/20221005/9254dc6619a649feab6c79585c6df33a.png