机器学习中熵、交叉熵、KL散度（相对熵）之间的关系

朱雀 2023-07-05 11:37 112阅读 0赞

### 文章目录 ###

*   *   *  1 信息量
         *  2 熵
         *  3 相对熵（KL散度）
         *  4 交叉熵

### 1 信息量 ###

信息的信息量大小和它的不确定性有很大的关系，如果一句话需要很多外部信息才能确定的话，那么这句话的信息就很大，例如你说‘明天可能是晴天’，那你需要去看天气预告等去预测明天是否晴天，有一定的不确定性，如果你说‘今天是周五，明天是周六’，那么这句话就没什么信息量，因为这是既定的事实，确定性很高。  
因此我们就将事件`x_0`的信息量定义如下：  
 I ( x 0 ) = − l o g ( p ( x 0 ) ) ( 1 ) I(x\_0) = -log(p(x\_0)) \\qquad (1) I(x0)=−log(p(x0))(1)  
其中概率`p`是介于0到1之间的数值，概率越大，信息量越小。

### 2 熵 ###

信息量是对单次事件来说的，实际中一个事件有多种发生的可能，比如明天可能晴天、多云、下雨等天气。  
熵表示随机事件不确定的度量，是对所有可能发生的事件的信息量的期望。  
 H ( x ) = − ∑ i = 1 n p ( x i ) l o g ( p ( x i ) ) ( 2 ) H(x) = -\\sum\_\{i=1\}^\{n\}p(x\_i)log(p(x\_i)) \\qquad (2) H(x)=−i=1∑np(xi)log(p(xi))(2)  
其中n表示事件可能发生的情况的总数。  
如果对于二分类问题，二项分布或者0-1分布，那么n=2，熵的计算可以转化为：  
 H ( x ) = − ∑ i = 1 n p ( x i ) l o g ( p ( x i ) ) H(x) = -\\sum\_\{i=1\}^\{n\}p(x\_i)log(p(x\_i)) H(x)=−i=1∑np(xi)log(p(xi))  
 = − p ( x ) l o g ( p ( x ) ) − ( 1 − p ( x ) ) l o g ( 1 − p ( x ) ) ( 3 ) \\qquad\\qquad\\qquad =-p(x)log(p(x))-(1-p(x))log(1-p(x)) \\qquad (3) =−p(x)log(p(x))−(1−p(x))log(1−p(x))(3)  
其中p(x)代表正例的概率，1-p(x)表示负例的概率。

### 3 相对熵（KL散度） ###

相对熵又称KL散度。用于衡量同一个随机变量`x`的两个分布`p(x)`和`q(x)`之间的差异，其中`p(x)`用于表示样本的实际分布，例如`[1,0,0,0]`表示样本属于第一类，`q(x)`用于表示样本的预测分布，例如`[0.6,0.2,0.1,0.1]`，很显然，使用`p(x)`表示样本比`q(x)`准确，`q(x)`是需要通过不断学习来拟合实际的分布`p(x)`。  
KL散度的公式如下：  
 D K L ( p ∣ ∣ q ) = ∑ i = 1 n p ( x i ) l o g ( p ( x i ) q ( x i ) ) ( 4 ) D\_\{KL\}(p||q) = \\sum\_\{i=1\}^\{n\}p(x\_i)log(\\frac\{p(x\_i)\}\{q(x\_i)\}) \\qquad (4) DKL(p∣∣q)=i=1∑np(xi)log(q(xi)p(xi))(4)  
KL散度的值越小表示两个分布越接近。

### 4 交叉熵 ###

将KL散度公式进行分解变形得到：  
 D K L ( p ∣ ∣ q ) = ∑ i = 1 n p ( x i ) l o g ( p ( x i ) q ( x i ) ) D\_\{KL\}(p||q) = \\sum\_\{i=1\}^\{n\}p(x\_i)log(\\frac\{p(x\_i)\}\{q(x\_i)\}) DKL(p∣∣q)=i=1∑np(xi)log(q(xi)p(xi))  
 = p ( x ) l o g ( p ( x ) ) − p ( x ) l o g ( q ( x ) ) \\qquad\\qquad= p(x)log(p(x)) - p(x)log(q(x)) =p(x)log(p(x))−p(x)log(q(x))  
 = − ( − p ( x ) l o g ( p ( x ) ) ) + \[ − p ( x ) l o g ( q ( x ) ) \] \\qquad\\qquad= -(-p(x)log(p(x))) + \[ - p(x)log(q(x))\] =−(−p(x)log(p(x)))\+\[−p(x)log(q(x))\]  
 = − H ( x ) + \[ − p ( x ) l o g ( q ( x ) ) \] ( 5 ) \\qquad\\qquad= -H(x) + \[ - p(x)log(q(x))\] \\qquad (5) =−H(x)\+\[−p(x)log(q(x))\](5)  
因此，三者之间满足：  
`KL散度 = -熵 + 交叉熵`  
机器学习中，常使用KL散度来评估预测值predict和实际值label之间的差别，但是从上面可以看出来前半部分`-熵`是一个常数，因此就直接将后半部分的`交叉熵`作为损失函数，结果是等效的。