数据的探索性分析EDA task2

Dear 丶 2022-12-08 15:53 118阅读 0赞

## 1.内容介绍： ##

在EDA步骤的主要内容如下（电脑安装pandas\_profiling一直出问题，后续再找找原因）：

*  数据总体了解：
    
     *  读取数据集并了解数据集大小，原始特征维度；
     *  通过info熟悉数据类型；
     *  粗略查看数据集中各特征基本统计量；
 *  缺失值和唯一值：
    
     *  查看数据缺失值情况
     *  查看唯一值特征情况
 *  深入数据-查看数据类型
    
     *  类别型数据
     *  数值型数据
        
         *  离散数值型数据
         *  连续数值型数据
 *  数据间相关关系
    
     *  特征和特征之间关系
     *  特征和目标变量之间关系
 *  用pandas\_profiling生成数据报告

## 2 代码 ##

### 2.1 导入数据与库 ###

按照常规操作导入数据。

import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    import seaborn as sns
    import datetime
    import warnings
    warnings.filterwarnings('ignore')
    
    data_train = pd.read_csv('./train.csv')
    data_test_a = pd.read_csv('./testA.csv')
    # 文件较大时可以考虑分块读取
    data_train_sample = pd.read_csv("./train.csv",nrows=5)

### 2.2总体了解 ###

# 查看数据集的样本个数和原始特征维度
    data_test_a.shape
    data_train.columns
    data_train.info()
    data_train.describe()
    data_train.head(3).append(data_train.tail(3))

*  查看数据集中特征缺失值，唯一值等

# 查看缺失值
    print(f'There are {data_train.isnull().any().sum()} columns in train dataset with missing values.')
    #进一步查看缺失特征中缺失率大于50%的特征，判断这些特征还能不能用
    have_null_fea_dict = (data_train.isnull().sum()/len(data_train)).to_dict()
    fea_null_moreThanHalf = { }
    for key,value in have_null_fea_dict.items():
        if value > 0.5:
            fea_null_moreThanHalf[key] = value
    # nan可视化，方便查看
    missing = data_train.isnull().sum()/len(data_train)
    missing = missing[missing > 0]
    missing.sort_values(inplace=True)
    missing.plot.bar()
    # 查看训练集测试集中特征属性只有一值的特征，这些对于分析时无效的，可以考虑删掉
    one_value_fea = [col for col in data_train.columns if data_train[col].nunique() <= 1]
    one_value_fea_test = [col for col in data_test_a.columns if data_test_a[col].nunique() <= 1]
    one_value_fea
    one_value_fea_test
    
    print(f'There are {len(one_value_fea)} columns in train dataset with one unique value.')
    print(f'There are {len(one_value_fea_test)} columns in test dataset with one unique value.')

### 2.3 查看特征的数值类型，对象类型 ###

numerical_fea = list(data_train.select_dtypes(exclude=['object']).columns)
    category_fea = list(filter(lambda x: x not in numerical_fea,list(data_train.columns)))
    
    numerical_fea
    category_fea
    data_train.grade
    
    ''' 划分数值型变量中的连续变量和离散型变量 '''
    #过滤数值型类别特征
    def get_numerical_serial_fea(data,feas):
        numerical_serial_fea = []
        numerical_noserial_fea = []
        for fea in feas:
            temp = data[fea].nunique()
            if temp <= 10:
                numerical_noserial_fea.append(fea)
                continue
            numerical_serial_fea.append(fea)
        return numerical_serial_fea,numerical_noserial_fea
    numerical_serial_fea,numerical_noserial_fea = get_numerical_serial_fea(data_train,numerical_fea)
    
    numerical_serial_fea
    numerical_noserial_fea
    # 数值类别型变量分析
    data_train['term'].value_counts()#离散型变量
    data_train['homeOwnership'].value_counts()#离散型变量
    data_train['verificationStatus'].value_counts()#离散型变量
    data_train['initialListStatus'].value_counts()#离散型变量
    data_train['applicationType'].value_counts()#离散型变量
    data_train['policyCode'].value_counts()#离散型变量，无用，全部一个值
    data_train['n11'].value_counts()#离散型变量，相差悬殊，用不用再分析
    data_train['n12'].value_counts()#离散型变量，相差悬殊，用不用再分析
    # 数值连续型变量分析
    #每个数字特征得分布可视化
    f = pd.melt(data_train, value_vars=numerical_serial_fea)
    g = sns.FacetGrid(f, col="variable",  col_wrap=2, sharex=False, sharey=False)
    g = g.map(sns.distplot, "value")

(后面的我再补补）