风控项目03---业务规则挖掘

素颜马尾好姑娘i 2022-12-28 09:08 180阅读 0赞

### 目录 ###

*   *  一：规则挖掘介绍：
     *  二：规则挖掘案例：
     *   *  2.1： 案例的背景：
         *  2.2：数据的处理：
         *   *  1：了解查看数据的基本信息：
             *  2：生成新的特征列,缺失值的填充：
         *  2.3： 利用决策时构建模型：
         *  三： 安装Graphviz：

## 一：规则挖掘介绍： ##

*  1：常见的风险规避的手段： AI模型， 规则。
 *  2：使用一系列判断逻辑对客户群体进行区分，不同群体逾期风险有显著差别，如果一条规则将用户划分到高风险组，则直接拒绝，如果划分到低风险组则进入到下一规则。
 *  3：规则，可以快速使用，便于业务人员理解，但判断相对简单粗暴一些，单一维度不满足条件直接拒绝。
 *  4：AI模型，开发周期长，对比使用规则更复杂，但更灵活，用于对风控精度要求高的场景。
 *  5：可以通过AI模型辅助建立规则引擎，**决策树**很适合**规则挖掘**的场景。

## 二：规则挖掘案例： ##

### 2.1： 案例的背景： ###

描述：现有的风控模块中一部分出现问题，我们如何修复？例如司机贷逾期率高于其他贷款，我们如何解决呢？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]

### 2.2：数据的处理： ###

#### 1：了解查看数据的基本信息： ####

0 ： 数据的基本信息展示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]

1：加载司机贷的信息：

import pandas as pd 
    import numpy as np 
    data = pd.read_excel('data/rule_data.xlsx')

2：查看信息中的基本字段信息：

data.info()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]  
3：查看司机的信用评级有哪些？  
发现有A-F一共六中信用等级。

data.class_new.unique()

![在这里插入图片描述][20201216111340326.png]  
4： 查看数值类型变量的分布情况：

df.describe()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]

#### 2：生成新的特征列,缺失值的填充： ####

*  1：原始数据的特征太少，考虑在原始特征基础上衍生出一些新的特征来，将特征分成三类分别处理。
 *  2：**数值类型变量**：按照id分组后，采用**多种方式聚合**，衍生新特征。
 *  3：**分类类型变量**，按照id分组后，**聚合查询条目数量**，衍生新特征。
 *  4：其它：日期时间类型，是否违约（标签），用户评级等不做特征衍生处理。

1： 将列划分成三类：

org_list = ['uid','create_dt','oil_actv_dt','class_new','bad_ind'] 
    agg_list = ['oil_amount','discount_amount','sale_amount','amount','pay_amount','coupon_amount','payment_coupon_amount'] 
    count_list = ['channel_code','oil_code','scene','source_app','call_source']

2：创建数据副本：

df = data[org_list].copy()# 拷贝数值类型的列
    df[agg_list] = data[agg_list].copy() # 拷贝分类类型的列
    df[count_list] = data[count_list].copy()# 拷贝日期类型其他类型的列。

3： 查看哪些列存在缺失值？：

df.isna().sum()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]  
4：填充缺失值：  
创建用户的时间缺失，我们这里采用放款的时间来进行填充。  
截取申请时间和放款时间不超过6个月的数据（考虑数据时效性），**时间太长了，不具备代表性了**。

# 如果是空值，我们把第二个值赋值给第一个值，否则不改变。
    def time_isna(x,y): 
        if str(x) == 'NaT':
            x = y 
        return x 
    
    # 根据用户id和创建的时间进行降序排序，时间越近，越靠前。
    df2 = df.sort_values(['uid','create_dt'],ascending = False) 
    # 对创建时间这一列，如果申请时间是空值则把放款日期赋值给申请日期。
    df2['create_dt'] = df2.apply(lambda x: time_isna(x.create_dt,x.oil_actv_dt),axis = 1) 
    # 放款日期- 申请日期得到一个时间段
    df2['dtn'] = (df2.oil_actv_dt - df2.create_dt).apply(lambda x :x.days) 
    # 截取时间段不超过三个月的。
    df = df2[df2['dtn']<180]
    df.head()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]

5：将用户按照id编号排序，并保留最近一次申请时间，确保每个用户有一条记录。  
注意一个用户可能存在多个记录，如何只保证只有最近的一条数据呢？  
答： 先按照uid和create\_time进行逆序排序，排序完成之后，那么创建时间完的肯定在上面，然后再进行去重操作就可以了。

# 获取司机的数值类型的列
    base = df[org_list]
    # 获取司机放贷日期与申请日期的时间段
    base['dtn'] = df['dtn'] 
    # 将数值类型的列，按照uid和创建时间进行降序排序
    base = base.sort_values(['uid','create_dt'],ascending = False) 
    # 根据uid进行去重操作，只保留第一个
    base = base.drop_duplicates(['uid'],keep = 'first') 
    base.shape

![在这里插入图片描述][20201216164428899.png]  
6：对数值型变量进行函数聚合。  
**方法包括对历史特征值计数、求历史特征值大于0的个数、求和、求均值、求最大/小值、求最小值、求方差、求极差等**。

# 创建一个dataFrame
    gn = pd.DataFrame()
    # 1: 遍历分类类型的列：agg_list = ['oil_amount','discount_amount','sale_amount','amount','pay_amount','coupon_amount','payment_coupon_amount'] 
    for i  in agg_list:
        # df是有所有字段的对象，根据uid分组，然后统计每个组（每个人）中agg_list的次数，例如：agg_list就是加油的次数。
        tp = df.groupby('uid').apply(lambda df:len(df[i])).reset_index() 
        #  改列名
        tp.columns = ['uid',i + '_cnt'] 
        # 如果gn是空的，则直接赋值
        if  gn.empty:
            gn = tp 
        # 如果不是空的，则进行连接合并merge(被连接方，连接方，on='连接依据字段', how= 'left',左连接，保留左边的，右面不存在则用空表示，左边没有，右边有的去掉)
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left')
        
        
        
        #求历史特征值大于0的个数 
        tp = df.groupby('uid').apply(lambda df:np.where(df[i]>0,1,0).sum()).reset_index()
        tp.columns = ['uid',i + '_num']
        if gn.empty: 
            gn = tp 
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left')
            
            
        #求和 
        tp = df.groupby('uid').apply(lambda df:np.nansum(df[i])).reset_index() 
        tp.columns = ['uid',i + '_tot'] 
        if gn.empty: 
            gn = tp
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left')
        
        
        #求平均值 
        tp = df.groupby('uid').apply(lambda df:np.nanmean(df[i])).reset_index()
        tp.columns = ['uid',i + '_avg'] 
        if gn.empty: 
            gn = tp 
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left')
        
        
        #求最大值 
        tp = df.groupby('uid').apply(lambda df:np.nanmax(df[i])).reset_index() 
        tp.columns = ['uid',i + '_max'] 
        if gn.empty: 
            gn = tp
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left') 
            
        
        #求最小值 
        tp = df.groupby('uid').apply(lambda df:np.nanmin(df[i])).reset_index() 
        tp.columns = ['uid',i + '_min'] 
        if gn.empty: 
            gn = tp
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left') 
            
            
        #求方差 
        tp = df.groupby('uid').apply(lambda df:np.nanvar(df[i])).reset_index() 
        tp.columns = ['uid',i + '_var'] 
        if gn.empty: 
            gn = tp 
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left') 
            
        #求极差 
        tp = df.groupby('uid').apply(lambda df:np.nanmax(df[i]) -np.nanmin(df[i]) ).reset_index()
        tp.columns = ['uid',i + '_ran'] 
        if gn.empty: 
            gn = tp 
        else:
            gn = pd.merge(gn,tp,on = 'uid',how = 'left')

查看结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]

7： 分类型数据，例如渠道 ,油的种类情况等我们也可以进行统计：  
![在这里插入图片描述][20201216174338260.png]

gc = pd.DataFrame()
    # 对于其他的进行统计： count_list = ['channel_code','oil_code','scene','source_app','call_source']
    for i in count_list: 
        # 根据uid进行分组，在组内统计例如上面的channel_code，渠道数量。油的种类，场景...
        tp = df.groupby('uid').apply(lambda df: len(set(df[i]))).reset_index()
        # 取新的名字
        tp.columns = ['uid',i + '_dstc'] 
        # 如果是空的则直接赋值
        if gc.empty: 
            gc = tp 
        # 非空进行左连接
        else:
            gc = pd.merge(gc,tp,on = 'uid',how = 'left')

8 ： 将上面的变量进行合并：  
base 变量存储其他类型：  
gc : 存储分类类型的统计信息：  
gn: 存储数值类型的统计信息：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]

fn = pd.merge(base,gn,on= 'uid') 
    fn = pd.merge(fn,gc,on= 'uid') 
    fn.shape

9： 处理合并过程中的缺失值问题：  
merge过程中可能会出现缺失情况，填充缺失值

fn = fn.fillna(0)

### 2.3： 利用决策时构建模型： ###

1： 训练决策树：

# 构造特征列，去掉不能作为特征的列
    x = fn.drop(['uid','oil_actv_dt','create_dt','bad_ind','class_new'],axis = 1)
    # 构造结果集
    y = fn.bad_ind.copy()
    # 导入决策树包
    from sklearn import tree 
    # 进行训练：指定树深度=2，分裂一个内部节点需要的做少样本数，指定每个叶子节点需要的最少样本数。
    dtree = tree.DecisionTreeRegressor(max_depth = 2,min_samples_leaf = 500,min_samples_split = 5000) 
    dtree = dtree.fit(x,y)

2： 画出决策树：

import pydotplus 
    from IPython.display import Image
    from six import StringIO  # 解决中文乱码问题的包
    import os 
    os.environ["PATH"] += os.pathsep + 'E:/graphviz/Graphviz/bin/' 
    with open("dt.dot", "w") as f: 
        tree.export_graphviz(dtree, out_file=f) 
    dot_data = StringIO() 
    tree.export_graphviz(dtree, 
                         out_file=dot_data,
                         feature_names=x.columns, class_names=['bad_ind'], 
                         filled=True, rounded=True, 
                         special_characters=True)
    graph = pydotplus.graph_from_dot_data(dot_data.getvalue()) 
    Image(graph.create_png())

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]

3：根据决策树划分数据：

group_1 = fn.loc[(fn.amount_tot<=240387.5)&(fn.sale_amount_cnt>3.5)].copy() 
    group_1['level'] = 'past_A' 
    group_2 = fn.loc[(fn.amount_tot>240387.5)&(fn.sale_amount_cnt<=3.5)].copy()
    group_2['level'] = 'past_B'
    group_3 = fn.loc[fn.amount_tot<=240387.5].copy() 
    group_3['level'] = 'past_C'

如果拒绝past\_C类客户，则可以使整体负样本占比下降至0.021  
如果将past\_B也拒绝掉，则可以使整体负样本占比下降至0.012  
至于实际对past\_A、past\_B、past\_C采取何种策略，要根据利率来做线性规划，从而实现风险定价  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]

### 三： 安装Graphviz： ###

1： 安装地址：https://www2.graphviz.org/Packages/stable/windows/10/msbuild/Release/Win32/  
![在这里插入图片描述][20201216182626864.png]

2：配置环境变量：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]  
3： 安装两个python依赖库：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]: /images/20221120/43b34f060189480ea35770605f86e785.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]: /images/20221120/36e6b842b94b4b19bdb22cc0c7690595.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]: /images/20221120/39f022dfadec4693a6c88271048929a1.png
[20201216111340326.png]: /images/20221120/b818710ec0dd4fa98d9575028ffe86ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]: /images/20221120/1f2f7da1297a4547a5de75567a7cb9ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]: /images/20221120/6a51ab1c3f0b4cb7879317acf24f1074.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]: /images/20221120/2c4bef5ff2394714b782e63de4318d03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]: /images/20221120/8153646e9d284f259014952f4e5ea8aa.png
[20201216164428899.png]: /images/20221120/d92be2f7ea6e495e90c123d984bd42e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]: /images/20221120/62c7a6523bdc46749c1fad5ab92ef88b.png
[20201216174338260.png]: /images/20221120/0f8712614afc4d5282d62acea4c4953d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201216175649933.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]: /images/20221120/c0697a07fcc24d45934fb7e0f45f6bbb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]: /images/20221120/f185d2cdbe0a4c67a42ad2df8fc0cff9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]: /images/20221120/9b129b8b9b494e34bdb3027c1ae71c2d.png
[20201216182626864.png]: /images/20221120/56c8151c200c492d9ce692dbf21ea5fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]: /images/20221120/da33881d623545d7a0713df4835ca3f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]: /images/20221120/c11b3736eb5a49bb81f12b186a6cc61a.png