深入理解机器学习中的信息熵、KL散度、交叉熵

男娘i 2023-02-28 04:20 13阅读 0赞

通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。

先给出一个“接地气但不严谨”的概念表述：

*  熵：可以表示一个事件A的自信息量，也就是A包含多少信息。
 *  KL散度：可以用来表示从事件A的角度来看，事件B有多大不同。
 *  交叉熵：可以用来表示从事件A的角度来看，如何描述事件B。

一句话总结的话：**KL散度可以被用于计算代价，而在特定情况下最小化KL散度等价于最小化交叉熵。而交叉熵的运算更简单，所以用交叉熵来当做代价。**

## 信息量 ##

任何事件都会承载着一定的信息量，包括已经发生的事件和未发生的事件，只是它们承载的信息量会有所不同。如昨天下雨这个已知事件，因为已经发生，既定事实，那么它的信息量就为0。如明天会下雨这个事件，因为未有发生，那么这个事件的信息量就大。从上面例子可以看出信息量是一个与事件发生概率相关的概念，而且可以得出，事件发生的概率越小，其信息量越大。这也很好理解，狗咬人不算信息，人咬狗才叫信息嘛。

我们已知某个事件的信息量是与它发生的概率有关，那我们可以通过如下公式计算信息量：

h ( x ) = − log ⁡ 2 p ( x ) h(x)=-\\log \_\{2\} p(x) h(x)=−log2p(x)

## 熵(Entropy) ##

我们知道：当一个事件发生的概率为  p ( x ) , p(x), p(x), 那么它的信息量是  − log ⁡ 2 p ( x ) -\\log\_2p(x) −log2p(x) ,那么如果我们把这个事件的所有可能性罗列出来, 就可以求得该事件信息量的期望，即**信息量的期望就是熵**, 所以熵的公式为:

假设事件  X X X 共有n种可能, 发生  x i x\_\{i\} xi 的概率为  p ( x i ) , p\\left(x\_\{i\}\\right), p(xi), 那么该事件的熵  H ( X ) H(X) H(X) 为:  
 H ( X ) = − ∑ i = 1 n p ( x i ) log ⁡ ( p ( x i ) ) H(X)=-\\sum\_\{i=1\}^\{n\} p\\left(x\_\{i\}\\right) \\log \\left(p\\left(x\_\{i\}\\right)\\right) H(X)=−i=1∑np(xi)log(p(xi))

## KL散度 ##

我们上面说的是对于一个随机变量x的事件A的自信息量，如果我们有另一个独立的随机变量x相关的事件B，该怎么计算它们之间的区别？

此处我们介绍默认的计算方法：**KL散度，有时候也叫KL距离，一般被用于计算两个分布之间的不同**。看名字似乎跟计算两个点之间的距离也很像，但实则不然，因为KL散度不具备有对称性。在距离上的对称性指的是A到B的距离等于B到A的距离。

举个不恰当的例子，事件A：张三今天买了2个土鸡蛋，事件B：李四今天买了6个土鸡蛋。我们定义随机变量x：买土鸡蛋，那么事件A和B的区别是什么？有人可能说，那就是李四多买了4个土鸡蛋？这个答案只能得50分，因为忘记了"坐标系"的问题。换句话说，对于张三来说，李四多买了4个土鸡蛋。对于李四来说，张三少买了4个土鸡蛋。选取的参照物不同，那么得到的结果也不同。更严谨的说，应该是说我们对于张三和李四买土鸡蛋的期望不同，可能张三天天买2个土鸡蛋，而李四可能因为孩子满月昨天才买了6个土鸡蛋，而平时从来不买。

KL散度的数学定义：

对于离散事件我们可以定义事件A和B的差别为：  
 D K L ( A ∥ B ) = ∑ i P A ( x i ) log ⁡ ( P A ( x i ) P B ( x i ) ) = ∑ i P A ( x i ) log ⁡ ( P A ( x i ) ) − P A ( x i ) log ⁡ ( P B ( x i ) ) D\_\{K L\}(A \\| B)=\\sum\_\{i\} P\_\{A\}\\left(x\_\{i\}\\right) \\log \\left(\\frac\{P\_\{A\}\\left(x\_\{i\}\\right)\}\{P\_\{B\}\\left(x\_\{i\}\\right)\}\\right)=\\sum\_\{i\} P\_\{A\}\\left(x\_\{i\}\\right) \\log \\left(P\_\{A\}\\left(x\_\{i\}\\right)\\right)-P\_\{A\}\\left(x\_\{i\}\\right) \\log \\left(P\_\{B\}\\left(x\_\{i\}\\right)\\right) DKL(A∥B)=i∑PA(xi)log(PB(xi)PA(xi))=i∑PA(xi)log(PA(xi))−PA(xi)log(PB(xi))  
对于连续事件，那么我们只是把求和改为求积分而已  
 D K L ( A ∥ B ) = ∫ a ( x ) log ⁡ ( a ( x ) b ( x ) ) D\_\{K L\}(A \\| B)=\\int a(x) \\log \\left(\\frac\{a(x)\}\{b(x)\}\\right) DKL(A∥B)=∫a(x)log(b(x)a(x))

从公式中可以看出:

*  如果  P A = P B P\_\{A\}=P\_\{B\} PA=PB ，即两个事件分布完全相同, 那么KL散度等于0。
 *  减号左边的就是事件A的熵，请记住这个发现。 如果颠倒一下顺序求  D K L ( B ∣ ∣ A ) , D\_\{K L\}(B|| A), DKL(B∣∣A), 那么就需要使用B的熵, 答案就不一样了。所以**KL散度来计算两个分布A与B的时候是不是对称的**，有 “坐标系" 的问题,  D K L ( A ∥ B ) ≠ D K L ( B ∥ A ) D\_\{K L\}(A \\| B) \\neq D\_\{K L\}(B \\| A) DKL(A∥B)=DKL(B∥A)

在机器学习中，A往往用来表示样本的真实分布，B用来表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss损失值。

## 交叉熵 ##

先上结论： **KL散度 = 交叉熵 - 熵（注意正负号）**， D K L ( A ∥ B ) = − S ( A ) + H ( A , B ) D\_\{K L\}(A \\| B)=-S(A)+H(A, B) DKL(A∥B)=−S(A)\+H(A,B)

对比一下这是KL散度的公式：  
 D K L ( A ∥ B ) = ∑ i P A ( x i ) log ⁡ ( P A ( x i ) P B ( x i ) ) = ∑ i P A ( x i ) log ⁡ ( P A ( x i ) ) − P A ( x i ) log ⁡ ( P B ( x i ) ) D\_\{K L\}(A \\| B)=\\sum\_\{i\} P\_\{A\}\\left(x\_\{i\}\\right) \\log \\left(\\frac\{P\_\{A\}\\left(x\_\{i\}\\right)\}\{P\_\{B\}\\left(x\_\{i\}\\right)\}\\right)=\\sum\_\{i\} P\_\{A\}\\left(x\_\{i\}\\right) \\log \\left(P\_\{A\}\\left(x\_\{i\}\\right)\\right)-P\_\{A\}\\left(x\_\{i\}\\right) \\log \\left(P\_\{B\}\\left(x\_\{i\}\\right)\\right) DKL(A∥B)=i∑PA(xi)log(PB(xi)PA(xi))=i∑PA(xi)log(PA(xi))−PA(xi)log(PB(xi))这是熵的公式：  
 S ( A ) = − ∑ i P A ( x i ) log ⁡ P A ( x i ) S(A)=-\\sum\_\{i\} P\_\{A\}\\left(x\_\{i\}\\right) \\log P\_\{A\}\\left(x\_\{i\}\\right) S(A)=−i∑PA(xi)logPA(xi)这是交叉熵公式：  
 H ( A , B ) = − ∑ i P A ( x i ) log ⁡ ( P B ( x i ) ) H(A, B)=-\\sum\_\{i\} P\_\{A\}\\left(x\_\{i\}\\right) \\log \\left(P\_\{B\}\\left(x\_\{i\}\\right)\\right) H(A,B)=−i∑PA(xi)log(PB(xi))

如果  S ( A ) S(A) S(A) 是一个常量, 那么 KL散度和交叉熵是等价的。在机器学习中, 为了让学到的模型分布更贴近真实数据分布, 我们最小化 模型数据分布 与 训练 数据之间的KL散度，而因为训练数据的分布是固定的，即S是常数，因此最小化KL散度等价于最小化交叉熵。

reference  
https://www.zhihu.com/question/65288314/answer/230209104  
https://www.zhihu.com/question/65288314/answer/244557337