信息增益-香农熵

系统管理员 2022-06-04 06:22 228阅读 0赞

在划分数据集之前之后信息发生的变化称为信息增益，计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。  
集合信息的度量方式称为**香农熵**或者简称为**熵**，**熵定义为信息的期望值**。何为信息，如果待分类的事物的标签占总标签的百分比为p(xi)，则符号xi的**信息**定义为：  
![信息定义][SouthEast]  
计算熵，则需要计算所有类别所有可能值包含的信息期望值，公式为：![这里写图片描述][SouthEast 1]

计算给定数据集的熵，代码为：

from math import log
    
    def calcShannonEnt(dataSet):
        numEntries = len(dataSet) #数据集的长度
        labelCounts = {} #标签计数集
        for featVec in dataSet:
            currentLabel = featVec[-1] #当前标签为featVec最后一个数
            if currentLabel not in labelCounts.keys():
                labelCounts[currentLabel] = 0
            labelCounts[currentLabel] += 1 #记录标签的数量
        shannonEnt = 0.0
        for key in labelCounts:
            prob = float(labelCounts[key])/numEntries #此标签占所有标签的百分比
            shannonEnt -= prob * log(prob, 2) #log以2为底计算信息期望值
        return shannonEnt
    
    #创建数据集
    def createDataSet():
        dataSet = [[1, 1, 'yes'],
                   [1, 1, 'yes'],
                   [1, 0, 'no'],
                   [0, 1, 'no'],
                   [0, 1, 'no']]
        labels = ['no surfacing', 'flippers']
        return dataSet, labels
    
    myDat, labels = createDataSet()
    shannonEnt = calcShannonEnt(myDat)
    print(shannonEnt)
    
    >>0.9709505944546686

熵越高，则混合的数据也越多，数据的无序程度也更高。得到熵之后，我们就可以按照获取最大信息增益的方法划分数据集。

[SouthEast]: /images/20220604/5a60d9d125074086badbb082347f3bbc.png
[SouthEast 1]: /images/20220604/a8c092b5355747dcaeeecebd8a0d8e39.png