中医证型关联规则挖掘

桃扇骨 2022-01-15 12:13 333阅读 0赞

基于FPGrowth挖掘算法的乳腺癌中医症型关联规则挖掘  
2018年01月14日 23:03:58 俞驰的博客 阅读数 750  
挖掘的总体思路：

首先癌症有不同的发展期

不同发展期的癌症有不同的症型

这些症型都处于不同的严重程度。

因此收集病人样本930条,最终挖掘目标是：

找出这些严重程度不同的症型和癌症发展阶段（我们知道癌症有初期，中期，晚期等）之间的关系（也就是找到症状与疾病之间的关联规则）

数据来自书籍《Python数据分析与挖掘实战》的第8章

书籍《Python数据分析与挖掘实战》中使用了Apriori算法来得到结果，  
敝文尝试使用另外一种关联规则挖掘算法：FP-Growth 来获得最终的挖掘结果。

敝文的前半部分代码来自《Python数据分析与挖掘实战》，  
后半部分代码通过把挖掘算法Apriori修改为FP-Growth而得，

最终实验结果表明：FP-Growth可以获得与Apriori一样的挖掘效果，并且提升了挖掘速度。

挖掘总流程：

一（对应代码1）、

每人的6种症型（症状名字的代号是A～F，分别对应下面data.xls中的各种症型）都处于不同的严重程度，

每种症型按照严重程度高低用具体数字赋值，然后根据症型的严重程度不度，聚类为四个区间，并根据某病人的某种症状的严重程度对应的数值，归类到四个区间中的某一个区间（下面表格中的区间由后面代码中的Kmeans聚类后得到）。各个症型区间表格如下：

表格用法举例：

例如一个人的肝气郁结症型比较严重，我们可以给他A3或者A4，如果比较轻，我们给他A1或者A2

同样的，症型之间我们认为地位是等同的，一个症型就是一个6维矢量中的其中一维，6个症型构成了一个6维矢量，其实也就是数据挖掘算法眼中的集合。

由于每个病人都有六种症状的不同区间（例如A1,A2,A3,A4），因此每个病人都可以由一个6维矢量（矢量中的每一维代表一种症型）来表示，例如（A1,B3,C2,D2,E2,F4）

这些表格中的各个区间的边界数值都是怎么来的呢？由代码1运行时，通过Kmeans聚类而得

代码1：

# \-*- coding: utf-8 -*\- #

‘’’  
聚类离散化，最后的result的格式为：  
1 2 3 4  
A 0 0.178698 0.257724 0.351843  
An 240 356.000000 281.000000 53.000000  
即(0, 0.178698\]有240个，(0.178698, 0.257724\]有356个，依此类推。  
‘’’  
from **future** import print\_function  
import pandas as pd  
from sklearn.cluster import KMeans \# 导入K均值聚类算法

datafile = ‘…/data/data.xls’ \#待聚类的数据文件  
processedfile = ‘…/tmp/data\_processed.xls’ \# 数据处理后文件  
typelabel = \{u’肝气郁结证型系数’: ‘A’, u’热毒蕴结证型系数’: ‘B’, u’冲任失调证型系数’: ‘C’, u’气血两虚证型系数’: ‘D’, u’脾胃虚弱证型系数’: ‘E’, u’肝肾阴虚证型系数’: ‘F’\}  
k = 4 \# 需要进行的聚类类别数

# 读取数据并进行聚类分析 #

data = pd.read\_excel(datafile) \# 读取数据  
keys = list(typelabel.keys())  
result = pd.DataFrame()

if **name** == ‘**main**’: \# 判断是否主窗口运行，如果是将代码保存为.py后运行，则需要这句，如果直接复制到命令窗口运行，则不需要这句。  
for i in range(len(keys)):\#每轮循环处理一个症状的聚类和数量统计  
print(“i=”, i)  
\# 调用k-means算法，进行聚类离散化  
print(u’正在进行“%s”的聚类…’ % keys\[i\])  
kmodel = KMeans(n\_clusters=k, n\_jobs=4) \# n\_jobs是并行数，一般等于CPU数较好  
kmodel.fit(data\[\[keys\[i\]\]\].as\_matrix()) \# 训练模型

r1 = pd.DataFrame(kmodel.cluster_centers_, columns=[typelabel[keys[i]]])  # 聚类中心
        print("r1=",r1)
        print("label=", typelabel[keys[i]])
        #
        #
        #
        r2 = pd.Series(kmodel.labels_).value_counts()  # 分类统计
        print("r2=",r2)
        print("-------------------------------------")
        r2 = pd.DataFrame(r2, columns=[typelabel[keys[i]] + 'number'])  # 转为DataFrame，记录各个类别的数目
        print("r2=", r2)#这一段用来统计聚类中各个类别的数量，并且写入一列中，并改改名字
        #
        #
        #
        #
        r=pd.concat([r1, r2], axis=1)
        print("排序前r=",r)
        r=r.sort_values(typelabel[keys[i]])
        print("排序后r=",r)
        r.index = [1, 2, 3, 4]#index指的是列标签，typelabel[keys[i]]指的是行标签
        #
        #
        #
        #
        print("----------------------------------------------------")
        print("计算均值前的表格r=",r)
        r[typelabel[keys[i]]] = pd.rolling_mean(r[typelabel[keys[i]]], 2)  # rolling_mean()用来计算相邻2列的均值，以此作为边界点。
        r[typelabel[keys[i]]][1] = 0.0  # 这两句代码将原来的聚类中心改为边界点.这里的用法类似于C语言中的r[i][j]
        print("计算均值后的表格r=",r)
        result = result.append(r.T)#旋转
        print("----------------------------------------------------")
        #
        #
        #
        #
    print("result=",result)
    result = result.sort_index()  # 以Index排序，即以A,B,C,D,E,F顺序排,A代表症状的名称，BCDE各自代表该症状的严重程度
    result.to_excel(processedfile)

运行代码1后得到聚类处理后的文件为data\_processed.xls（各种症型的数据统计），得到上面的表格9~14，同时也得到统计结果：

输出的结果是：

1	2	3	4

A 0 0.178697589 0.2577240643 0.3518431814  
Anumber 240 356 281 53  
B 0 0.1507662277 0.2966313131 0.4897045019  
Bnumber 325 396 180 29  
C 0 0.2021487293 0.2890611377 0.4235365546  
Cnumber 297 394 204 35  
D 0 0.1765046363 0.2571199525 0.3661899988  
Dnumber 309 371 211 39  
E 0 0.1526978022 0.2575413223 0.3748694473  
Enumber 273 319 242 96  
F 0 0.1791433755 0.2613863944 0.354642668  
Fnumber 200 237 265 228

结合输入文件data.xls  
由于得到了每种症状的各种严重程度的量化区间，所以把data.xls中的各个参数（例如A症状）转化为A1～A4  
转化办法如下：  
data.xls中，对每行的首单元进行按行排序，由于data.xls中第一列的各项数据处于data\_processed.xls的四个区间中，  
分别改为A1~A4,从而得到下一份代码需要的文件data.txt文件（可从百度网盘下载：[https://pan.baidu.com/s/1miZgHMo），][https_pan.baidu.com_s_1miZgHMo]  
举个例子说明data.txt中的的每行数据是什么意思：

例如，data.xls第一行的数据是：

0.175,0.682,0.171,0.535,0.419,0.447

由于Kmeans得到了“症型对应的数值的聚类中心”，得到的结果其实就是上文中的表8-9,8-10,8-11,8-12,8-13,8-14,

根据症型的数值查表，得到由于0.175在区间(0,0.179\]中，靠近聚类中心0.179，所以0.175替换为A2，同样地:

0.682查表8-10，归类为B1

0.171查表8-11，归类为C3

0.535查表8-12，归类为D3

0.419查表8-13，归类为E1

0.447查表8-14，归类为F1

以此类推，把6维向量（0.175,0.682,0.171,0.535,0.419,0.447）转化成（A2，B1，C3，D3，E1，F1，H1）

用代码批量转化即可，转化结果为data.txt，可从百度网盘下载：

[https://pan.baidu.com/s/1miZgHMo][https_pan.baidu.com_s_1miZgHMo 1]

二（对应代码2）、这里使用FP-Growth算法来进行挖掘，找出不同严重程度的症状和mammary cancer

发展时期之间的联系，也就是说，找出哪些症状（例如A3和B5）极有可能导致乳腺癌之间的某个特定的发展阶段（例如H5），例如，肾脏发炎和肝硬化有较大概率导致乳腺癌（这里只是举个例子，不一定符合真实情况）挖掘结束。

代码2：

\#-*- encoding:utf-8 -*\-  
import sys  
reload(sys)  
import pyfpgrowth  
sys.setdefaultencoding(‘utf-8’)

path=’./data.txt’  
def read\_data(path):  
data\_lists=\[\]  
f = open(path) \# 返回一个文件对象  
line = f.readline() \# 调用文件的 readline()方法

for line in open(path):
        # print type(line)  
        print line                 # 后面跟 ',' 将忽略换行符  
        # print(line, end = '')　　　# 在 Python 3中使用 
        lists_cell=line.replace('\n','').split(",")#去掉回车键，以逗号作为分隔符   
        data_lists.append(lists_cell)
        line = f.readline()  
    f.close()
    return data_lists

transactions=read\_data(path)

# print “transactions=”,transactions #

print len(transactions)  
print type(transactions)

patterns = pyfpgrowth.find\_frequent\_patterns(transactions, 56)\#2 这个位置的参数代表支持度,也就是说出现数量56次以上  
rules = pyfpgrowth.generate\_association\_rules(patterns, 0.87)\#0.7 这个位置的参数代表置信度

print “FPGrowth关联规则挖掘结果：”  
for k,v in rules.items():  
print k  
print v  
print"-"\*20

## 代码运行结果：   FPGrowth关联规则挖掘结果：   (‘A3’, ‘F4’)   ((‘H4’,), 0.8795180722891566) ##

## (‘C3’, ‘F4’)   ((‘H4’,), 0.875) ##

\[Finished in 0.1s\]

与书上P192结果进行比较，可以发现，虽然书上用的是Apriori，此处使用的是FPGrowth，挖掘得到的关联规则是一致的：

最后解释下实验结果：

顺便解释下基本概念：  
下面的support指的是，‘并’的关系

Support（A=>B）=P(AUB)

置信度指的是：条件概率

Confidence（A=>B）=P(B|A)

那么FpGrowth的挖掘结果可以解释为：

当肝气郁结症型系数位于A3区间，并且 肝肾阴虚症型系数位于F4区间，在这两个前提的条件下，处于mammary cancer H4阶段的概率为0.8795180722891566

在总样本中，这种情况发生的概率是0.078495，代码中有个数字是56,设置办法是：930\*0.078495=56

中医证型关联规则挖掘  
2018年06月02日 20:14:49 蠡1204 阅读数 943更多  
所属专栏： 数据分析  
版权声明：本文为博主原创文章，未经博主允许不得转载，欢迎大家讨论交流。 [https://blog.csdn.net/qq\_40006058/article/details/80550494][https_blog.csdn.net_qq_40006058_article_details_80550494]  
1.目的  
借助患者病理信息，挖掘患者的症状与中医证型之间的关联关系，对治疗提供依据，挖掘潜在证素

2.挖掘方法与过程  
采用关联规则算法，挖掘各中医证素与乳腺癌分期之间的关系  
这里写图片描述  
步骤：  
问卷采集数据，形成原始数据  
数据预处理(数据清洗、属性规约、数据交换)  
对数据采用关联规则算法，调整参数，训练得到关系模型  
结合业务，结果分析，应用实际

3.数据预处理  
(1)数据清洗：对数据进行有效性检查，整理成为原始数据  
这里写图片描述  
(2)属性规约：将数据的73个属性取其重要属性，剔除无关属性，最终的属性为：  
6种证型得分、分期的属性值  
这里写图片描述  
(3)数据变换：  
1)属性构造：采用证型系数代替具体单证型的证素得分，  
证型系数=该证型得分/该证型总分  
这里写图片描述  
2)数据离散化：由于Apriori关联规则无法处理连续型数值变量，需要将原始数据离散化，采用聚类算法将各个证型系数离散化处理，将每个属性聚成4类。  
这里写图片描述  
这里写图片描述  
这里写图片描述

from **future** import print\_function  
import pandas as pd  
from sklearn.cluster import KMeans \#导入K均值聚类算法

datafile = ‘eeeee/chapter4/demo//data/data.xls’ \#待聚类的数据文件  
processedfile = ‘…/tmp/data\_processed.xls’ \#数据处理后文件  
typelabel =\{u’肝气郁结证型系数’:‘A’, u’热毒蕴结证型系数’:‘B’, u’冲任失调证型系数’:‘C’, u’气血两虚证型系数’:‘D’, u’脾胃虚弱证型系数’:‘E’, u’肝肾阴虚证型系数’:‘F’\}  
k = 4 \#需要进行的聚类类别数

\#读取数据并进行聚类分析  
data = pd.read\_excel(datafile) \#读取数据  
keys = list(typelabel.keys())  
result = pd.DataFrame()

if **name** == ‘**main**’: \#判断是否主窗口运行，如果是将代码保存为.py后运行，则需要这句，如果直接复制到命令窗口运行，则不需要这句。  
for i in range(len(keys)):  
\#调用k-means算法，进行聚类离散化  
print(u’正在进行“%s”的聚类…’ % keys\[i\])  
kmodel = KMeans(n\_clusters = k, n\_jobs = 4) \#n\_jobs是并行数，一般等于CPU数较好  
kmodel.fit(data\[\[keys\[i\]\]\].as\_matrix()) \#训练模型

r1 = pd.DataFrame(kmodel.cluster_centers_, columns = [typelabel[keys[i]]]) #聚类中心
    r2 = pd.Series(kmodel.labels_).value_counts() #分类统计
    r2 = pd.DataFrame(r2, columns = [typelabel[keys[i]]+'n']) #转为DataFrame，记录各个类别的数目
    r = pd.concat([r1, r2], axis = 1).sort(typelabel[keys[i]]) #匹配聚类中心和类别数目
    r.index = [1, 2, 3, 4]
    
    r[typelabel[keys[i]]] = pd.rolling_mean(r[typelabel[keys[i]]], 2) #rolling_mean()用来计算相邻2列的均值，以此作为边界点。
    r[typelabel[keys[i]]][1] = 0.0 #这两句代码将原来的聚类中心改为边界点。
    result = result.append(r.T)

result = result.sort() \#以Index排序，即以A,B,C,D,E,F顺序排  
result.to\_excel(processedfile)  
1  
2  
3  
4  
5  
6  
7  
8  
9  
10  
11  
12  
13  
14  
15  
16  
17  
18  
19  
20  
21  
22  
23  
24  
25  
26  
27  
28  
29  
30  
31  
32  
33  
34  
35  
4.模型构建  
关联规则算法主要用于寻找数据集中项之间的关系，基于样本的统计规律，进行关联规则挖掘  
这里写图片描述

\#-*- coding: utf-8 -*\-  
from **future** import print\_function  
import pandas as pd

\#自定义连接函数，用于实现L\_\{k-1\}到C\_k的连接  
def connect\_string(x, ms):  
x = list(map(lambda i:sorted(i.split(ms)), x))  
l = len(x\[0\])  
r = \[\]  
for i in range(len(x)):  
for j in range(i,len(x)):  
if x\[i\]\[:l-1\] == x\[j\]\[:l-1\] and x\[i\]\[l-1\] != x\[j\]\[l-1\]:  
r.append(x\[i\]\[:l-1\]+sorted(\[x\[j\]\[l-1\],x\[i\]\[l-1\]\]))  
return r

\#寻找关联规则的函数  
def find\_rule(d, support, confidence, ms = u’–’):  
result = pd.DataFrame(index=\[‘support’, ‘confidence’\]) \#定义输出结果

support\_series = 1.0\*d.sum()/len(d) \#支持度序列  
column = list(support\_series\[support\_series > support\].index) \#初步根据支持度筛选  
k = 0

while len(column) > 1:  
k = k+1  
print(u’\\n正在进行第%s次搜索…’ %k)  
column = connect\_string(column, ms)  
print(u’数目：%s…’ %len(column))  
sf = lambda i: d\[i\].prod(axis=1, numeric\_only = True) \#新一批支持度的计算函数

#创建连接数据，这一步耗时、耗内存最严重。当数据集较大时，可以考虑并行运算优化。
    d_2 = pd.DataFrame(list(map(sf,column)), index = [ms.join(i) for i in column]).T
    
    support_series_2 = 1.0*d_2[[ms.join(i) for i in column]].sum()/len(d) #计算连接后的支持度
    column = list(support_series_2[support_series_2 > support].index) #新一轮支持度筛选
    support_series = support_series.append(support_series_2)
    column2 = []
    
    for i in column: #遍历可能的推理，如{A,B,C}究竟是A+B-->C还是B+C-->A还是C+A-->B？
      i = i.split(ms)
      for j in range(len(i)):
        column2.append(i[:j]+i[j+1:]+i[j:j+1])
    
    cofidence_series = pd.Series(index=[ms.join(i) for i in column2]) #定义置信度序列
    
    for i in column2: #计算置信度序列
      cofidence_series[ms.join(i)] = support_series[ms.join(sorted(i))]/support_series[ms.join(i[:len(i)-1])]
    
    for i in cofidence_series[cofidence_series > confidence].index: #置信度筛选
      result[i] = 0.0
      result[i]['confidence'] = cofidence_series[i]
      result[i]['support'] = support_series[ms.join(sorted(i.split(ms)))]

result = result.T.sort(\[‘confidence’,‘support’\], ascending = False) \#结果整理，输出  
print(u’\\n结果为：’)  
print(result)

return result

import pandas as pd  
import time \#导入时间库用来计算用时

inputfile = ‘…/data/apriori.txt’ \#输入事务集文件  
data = pd.read\_csv(inputfile, header=None, dtype = object)

start = time.clock() \#计时开始  
print(u’\\n转换原始数据至0-1矩阵…’)  
ct = lambda x : pd.Series(1, index = x\[pd.notnull(x)\]) \#转换0-1矩阵的过渡函数  
b = map(ct, data.as\_matrix()) \#用map方式执行  
data = pd.DataFrame(b).fillna(0) \#实现矩阵转换，空值用0填充  
end = time.clock() \#计时结束  
print(u’\\n转换完毕，用时：%0.2f秒’ %(end-start))  
del b \#删除中间变量b，节省内存

support = 0.06 \#最小支持度  
confidence = 0.75 \#最小置信度  
ms = ‘—’ \#连接符，默认’–’，用来区分不同元素，如A–B。需要保证原始表格中不含有该字符

start = time.clock() \#计时开始  
print(u’\\n开始搜索关联规则…’)  
find\_rule(data, support, confidence, ms)  
end = time.clock() \#计时结束  
print(u’\\n搜索完成，用时：%0.2f秒’ %(end-start))  
1  
2  
3  
4  
5  
6  
7  
8  
9  
10  
11  
12  
13  
14  
15  
16  
17  
18  
19  
20  
21  
22  
23  
24  
25  
26  
27  
28  
29  
30  
31  
32  
33  
34  
35  
36  
37  
38  
39  
40  
41  
42  
43  
44  
45  
46  
47  
48  
49  
50  
51  
52  
53  
54  
55  
56  
57  
58  
59  
60  
61  
62  
63  
64  
65  
66  
67  
68  
69  
70  
71  
72  
73  
74  
75  
76  
77  
78  
79  
80  
81  
82  
83  
5.模型分析及应用  
根据运行结果，我们得出了5个关联规则，然而并非所有的关联规则都有意义，我们只在乎以H为规则结果的规则(即说明在哪些情况下容易产生疾病和疾病所处分期)  
A3—-F4—-H4 ：支持度为7.85%,置信度为:87.95%  
表示在肝气郁结证型系数为第三阶段，肝肾阴虚证型系数为第四阶段，此时分期H4期的可能性为87.95%，而这种情况发生的可能性为7.85%  
C3—-F4—-H4 ：支持度为7.52%,置信度为:87.5%  
B2—-F4—-H4 ：支持度为6.23%,置信度为:79.45%

[https_pan.baidu.com_s_1miZgHMo]: https://pan.baidu.com/s/1miZgHMo%EF%BC%89%EF%BC%8C
[https_pan.baidu.com_s_1miZgHMo 1]: https://pan.baidu.com/s/1miZgHMo
[https_blog.csdn.net_qq_40006058_article_details_80550494]: https://blog.csdn.net/qq_40006058/article/details/80550494