python 卡方分箱算法_python 基于卡方值分箱算法的实现示例

深碍√TFBOYSˉ_ 2023-01-09 14:23 96阅读 0赞

原理很简单，初始分20箱或更多，先确保每箱中都含有0，1标签，对不包含0，1标签的箱向前合并，计算各箱卡方值，对卡方值最小的箱向后合并，代码如下

import pandas as pd

import numpy as np

import scipy

from scipy import stats

def chi\_bin(DF,var,target,binnum=5,maxcut=20):

'''

DF:data

var:variable

target:target / label

binnum: the number of bins output

maxcut: initial bins number

'''

data=DF\[\[var,target\]\]

\#equifrequent cut the var into maxcut bins

data\["cut"\],breaks=pd.qcut(data\[var\],q=maxcut,duplicates="drop",retbins=True)

\#count 1,0 in each bin

count\_1=data.loc\[data\[target\]==1\].groupby("cut")\[target\].count()

count\_0=data.loc\[data\[target\]==0\].groupby("cut")\[target\].count()

\#get bins value: min,max,count 0,count 1

bins\_value=\[\*zip(breaks\[:maxcut-1\],breaks\[1:\],count\_0,count\_1)\]

\#define woe

def woe\_value(bins\_value):

df\_woe=pd.DataFrame(bins\_value)

df\_woe.columns=\["min","max","count\_0","count\_1"\]

df\_woe\["total"\]=df\_woe.count\_1+df\_woe.count\_0

df\_woe\["bad\_rate"\]=df\_woe.count\_1/df\_woe.total

df\_woe\["woe"\]=np.log((df\_woe.count\_0/df\_woe.count\_0.sum())/(df\_woe.count\_1/df\_woe.count\_1.sum()))

return df\_woe

\#define iv

def iv\_value(df\_woe):

rate=(df\_woe.count\_0/df\_woe.count\_0.sum())-(df\_woe.count\_1/df\_woe.count\_1.sum())

iv=np.sum(rate \* df\_woe.woe)

return iv

\#make sure every bin contain 1 and 0

\#\#first bin merge backwards

for i in range(len(bins\_value)):

if 0 in bins\_value\[0\]\[2:\]:

bins\_value\[0:2\]=\[(

bins\_value\[0\]\[0\],

bins\_value\[1\]\[1\],

bins\_value\[0\]\[2\]+bins\_value\[1\]\[2\],

bins\_value\[0\]\[3\]+bins\_value\[1\]\[3\])\]

continue

\#\#bins merge forwards

if 0 in bins\_value\[i\]\[2:\]:

bins\_value\[i-1:i+1\]=\[(

bins\_value\[i-1\]\[0\],

bins\_value\[i\]\[1\],

bins\_value\[i-1\]\[2\]+bins\_value\[i\]\[2\],

bins\_value\[i-1\]\[3\]+bins\_value\[i\]\[3\])\]

break

else:

break

\#calculate chi-square merge the minimum chisquare

while len(bins\_value)>binnum:

chi\_squares=\[\]

for i in range(len(bins\_value)-1):

a=bins\_value\[i\]\[2:\]

b=bins\_value\[i+1\]\[2:\]

chi\_square=scipy.stats.chi2\_contingency(\[a,b\])\[0\]

chi\_squares.append(chi\_square)

\#merge the minimum chisquare backwards

i = chi\_squares.index(min(chi\_squares))

bins\_value\[i:i+2\]=\[(

bins\_value\[i\]\[0\],

bins\_value\[i+1\]\[1\],

bins\_value\[i\]\[2\]+bins\_value\[i+1\]\[2\],

bins\_value\[i\]\[3\]+bins\_value\[i+1\]\[3\])\]

df\_woe=woe\_value(bins\_value)

\#print bin number and iv

print("箱数：\{\},iv:\{:.6f\}".format(len(bins\_value),iv\_value(df\_woe)))

\#return bins and woe information

return woe\_value(bins\_value)

以下是效果：

初始分成10箱，目标为3箱

chi\_bin(data,"age","SeriousDlqin2yrs",binnum=3,maxcut=10)

箱数：8,iv:0.184862

箱数：7,iv:0.184128

箱数：6,iv:0.179518

箱数：5,iv:0.176980

箱数：4,iv:0.172406

箱数：3,iv:0.160015

min max count\_0 count\_1 total bad\_rate woe

0 0.0 52.0 70293 7077 77370 0.091470 -0.266233

1 52.0 61.0 29318 1774 31092 0.057056 0.242909

2 61.0 72.0 26332 865 27197 0.031805 0.853755

到此这篇关于python 基于卡方值分箱算法的实现示例的文章就介绍到这了,更多相关python 卡方值分箱算法内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

时间： 2020-07-17

python 卡方分箱算法_python 基于卡方值分箱算法的实现示例

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关数据挖掘实验（二）数据预处理【等深分箱与等宽分箱】

相关箱体区别：蛇箱VS骆驼箱VS帕斯卡箱VS烤肉箱

相关 R语言计算卡方检验的P值

相关卡方检验

相关 python 卡方分箱算法_python 基于卡方值分箱算法的实现示例

相关卡方检验和卡方分布关联与区分

相关 spark 特征工程 -- 分箱 Binning

相关评分卡应用 - 利用Toad进行有监督分箱（卡方分箱/决策树分箱）

相关数据预处理的分箱操作

相关数据分箱技术Binning