知识卡片信息熵

待我称王封你为后i 2022-11-26 10:57 232阅读 0赞

![format_png][]

前言：本文讲解了机器学习需要用到的信息论中关于信息熵的知识，并用代码演示如何计算信息熵和互信息。

信息熵 Information Entropy

**信息论中的熵(entropy)**

![format_png 1][]

**信息熵**

![format_png 2][]

log(1/p)的图像如下，是单调递减函数，不确定性越大，事件发生的概率越小。需要指出的是，H(U)式子中的对数是以2为底数，信息熵的单位是比特；在sklearn中，以自然对数e为底。

![format_png 3][]

**交叉熵 cross entropy**

![format_png 4][]

交叉熵在神经网络中可以作为损失函数，用于衡量模型预测和真实的差异。

**相对熵 relative entropy**

![format_png 5][]

*应用举例：*

![format_png 6][]

条件概率中，以B来模拟A的真实情况所需要的相对熵更小，更接近真实。

*相对熵的性质：*

![format_png 7][]

相对熵看似可以度量距离，实际上不具有对称性，也不满足三角不等式，因而不能度量距离。「KL散度」有时也被称为『KL距离』，实际上它度量不是真正的距离，度量的是两个分布的相似程度。

*JS散度*

![format_png 8][]

**联合熵 Joint Entropy**

![format_png 9][]

![format_png 10][]

**条件熵 the conditional entropy**

![format_png 11][]

推导公式中，yj是某个已知的随机变量的分布，红色和蓝色部分的推导公式，用条件概率公式换算，最后得到的蓝色式子由对数相除变减法，拆开后分别符合联合熵和信息熵的定义。

**互信息 Mututal Information**

![format_png 12][]

式中红色是互信息的定义，蓝色为推导，互信息具有对称性 I(x,y) = I(y,x)。

*文氏图图解*

![format_png 13][]

左右两边各位X和Y的信息熵也可以称为边缘熵，红色和蓝色圆圈的部分是X和Y的条件熵，中间紫色部分是互信息，两个圆重叠的部分是联合熵。

代码演示-信息熵和互信息的计算

演示内容：香农信息熵的计算(例1和例2分别为两种不同类型的输入)以及互信息的计算（例3）。其中log默认为自然对数。

代码如下：

import numpy as np

from math import log

**\#例1：计算信息熵（x1,x2,x3 已知概率分布）**

print("例1：")

def calc\_ent(x):

ent = 0.0 \# entropy 熵

for p in x:

ent -= p \* np.log(p) \# 信息熵计算公式

return ent

x1=np.array(\[0.4, 0.2, 0.2, 0.2\]) \# 概率分布 第一个信号的概率0.4 ....

x2=np.array(\[1\]) \# 肯定发生

x3=np.array(\[0.2, 0.2, 0.2, 0.2, 0.2\]) \# 五个信号发生的概率相同

print ("x1的信息熵:", calc\_ent(x1))

print ("x2的信息熵:", calc\_ent(x2))

print ("x3的信息熵:", calc\_ent(x3))

print("")

'''

例1：
    x1的信息熵: 1.3321790402101223
    x2的信息熵: 0.0
    x3的信息熵: 1.6094379124341005

'''

\#例2：计算信息熵（此时给定了信号发生情况,需要要计算概率)

print("例2：")

def calcShannonEnt(dataSet):

length,dataDict=float(len(dataSet)),\{\}

\# 获取数据集长度，字典存放信号名称和次数

for data in dataSet:  \# 遍历数据集，统计各事件发生的次数

try:dataDict\[data\]+=1

except:dataDict\[data\]=1

return sum(\[-d/length\*log(d/length) for d in list(dataDict.values())\])

\# 例2中x1,x2,x3的信号发生的概率和例一种x1,x2,x3的概率相同

print("x1的信息熵:", calcShannonEnt(\['A','B','C','D','A'\]))

print("x2的信息熵:",calcShannonEnt(\['A','A','A','A','A'\]))

print("x3的信息熵:",calcShannonEnt(\['A','B','C','D','E'\]))

'''

例2：
    x1的信息熵: 1.3321790402101223
    x2的信息熵: 0.0
    x3的信息熵: 1.6094379124341005

'''

\#例3:计算互信息(输入：给定的信号发生情况,其中联合分布手工给出)

print("")

print("例3：")

\# 根据互信息的计算公式，I(x;y)=H(x)+H(y)-H(x,y),仍然使用例2中的函数

Ent\_x4=calcShannonEnt(\['3',  '4',   '5',  '5', '3',  '2',  '2', '6', '6', '1'\])

Ent\_x5=calcShannonEnt(\['7',  '2',   '1',  '3', '2',  '8',  '9', '1', '2', '0'\])

Ent\_x4x5=calcShannonEnt(\['37', '42', '51', '53', '32', '28', '29', '61', '62', '10', '37', '42'\])

MI\_x4\_x5=Ent\_x4+Ent\_x5-Ent\_x4x5

print ("x4和x5之间的互信息:",MI\_x4\_x5)

'''

例3：

x4和x5之间的互信息: 1.3285817292263604

'''

![format_png 14][]

好文章，我 在看❤

[format_png]: /images/20221124/76878a6abea8409c98786e76a6ee180d.png
[format_png 1]: /images/20221124/2a5d4282cd564b52a17efb7ec88d4df3.png
[format_png 2]: /images/20221124/68b8fd1e76bb43f1becab393dfaaa020.png
[format_png 3]: /images/20221124/3215dcfdb7204ee6831b997db37af63d.png
[format_png 4]: /images/20221124/4bb313723f094e31b857d8b7593fd370.png
[format_png 5]: /images/20221124/63ec603110494ae0af18cb1ffc74578d.png
[format_png 6]: /images/20221124/7d0225f3689a4d7c882854fdc7454887.png
[format_png 7]: /images/20221124/ecab086d6a6b44069766a216655fc2ee.png
[format_png 8]: /images/20221124/a6f74a3fc7f54ad48a6337cc80827634.png
[format_png 9]: /images/20221124/6e8fb2fd8e4a489aa5511ff7c85d96ca.png
[format_png 10]: /images/20221124/9aa96e8cf02e41398c051b5b5eeb099e.png
[format_png 11]: /images/20221124/5e1b77a1508640ceb7ad9d77a6373d86.png
[format_png 12]: /images/20221124/4c89f78946ce4d59bfc0bfb48b15fbeb.png
[format_png 13]: /images/20221124/d3b015fe8d3c4872be80377fd6df0394.png
[format_png 14]: /images/20221124/c47a0ad7acb1456fad652f8a382737a7.png