啥，跟着蠕虫就能学会KL散度？

浅浅的花香味﹌ 2022-10-26 01:21 171阅读 0赞

# \[博客翻译\]Kullback-Leibler Divergence Explained #

原文地址：[https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-explained][https_www.countbayesie.com_blog_2017_5_9_kullback-leibler-divergence-explained]

在本文中我们将介绍在信息论以及机器学习等领域广为使用的KL散度 (Kullback-Leibler Divergence)，KL散度主要用于比较两个概率分布的相似程度，两个分布越相似KL散度值越大，如果分布完全相同则KL散度为0。在概率和统计领域，我们经常用更简单的分布来近似代替观测数据或复杂分布。KL散度帮助我们测量当我们选择一个近似值时我们丢失了多少信息。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70]

为了通俗易懂地解释这个概念，假设有一个在外太空进行研究的科学家，在一个非常遥远的星球发现了一种有趣的蠕虫，这些蠕虫最多有10个牙齿，但是由于它们很喜欢咔咔的咬东西，有些蠕虫的牙齿掉了几颗。科学家为了研究当前这些蠕虫的牙齿分布数量，认真地统计了周围每只蠕虫的牙齿数量得到下面的统计结果：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 1]

但是现在的问题是，由于科学家所在的星球离地球太远了，信息传输到地球特别困难，因此只能传输非常有限的信息量。科学家想起了当年学习的信息论的初衷就是量化数据中包含的信息量的，其中的信息熵 (Entropy)公式为：  
 H = − ∑ i = 1 N p ( x i ) l o g p ( x i ) H=-\\sum\_\{i=1\}^\{N\}\{p(x\_i)log p(x\_i)\} H=−i=1∑Np(xi)logp(xi)  
如果取底数为2，可以将熵解释为“我们对信息进行编码所需要的最小比特数”。在这个问题中，信息就是每种牙齿数量的蠕虫的频率，科学家飞快地计算出这些信息的熵为3.12 bits，因此至少需要4个比特编码观察结果。信息熵是最理想的编码方式下信息传送所需的比特数（下限），但是很多时候我们无法找到最理想的编码方式，只能无限逼近。关于信息熵的内容我们搁置一会，后面再提。

既然目前找不到比较合适的编码方法有效的传输信息，那能不能用一种分布来近似观察到的结果呢，比如均匀分布、二项分布或者高斯分布？如果用已知的分布来近似观察结果，虽然有一定的信息损失，但是传输起来就很方便了啊，只用几个参数就能表示数据的分布了！科学家在草稿纸上先画出了均匀分布的概率分布：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 2]

其实真实的分布和均匀分布还是差挺多的，看起来不是很靠谱的样子。于是科学家想试试用当前的数据去拟合二项分布 (Binomial distribution)，**二项分布**是指在只有两个结果的n次独立的伯努利试验中，所期望的结果出现\*\*次数的概率。\*\*单次伯努利实验结果为1的概率为p，结果为0的概率就是1-p，而在n次实验中，结果为1的次数为k就表示为B(n, p, k)，有：  
 B ( n , p , k ) = n ! k ! ( n − k ) ! p k ( 1 − p ) n − k B(n,p,k)=\\frac\{n!\}\{k!(n-k)!\}p^k(1-p)^\{n-k\} B(n,p,k)=k!(n−k)!n!pk(1−p)n−k  
在这个实际问题里面，假设蠕虫的每颗牙齿是否存在这个事件是相互独立的，将n设置为10，表示对每只蠕虫的十颗牙齿分别做伯努利试验，观察每只蠕虫剩余牙齿数量，为了忽略单个样本带来的偏差，直接取所有蠕虫观察结果的均值作为最终的分布（也就是图二中的概率分布）。由于二项分布的期望 E \[ x \] = n ⋅ p E\[x\]=n·p E\[x\]=n⋅p，计算该离散分布的均值为5.7，因此得到p的概率为0.57，因此就能够得到二项分布的结果：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 3]

现在已经得到了两个分布，我们将其和原始数据的分布放在一起比较一下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 4]

新的问题又出现了：如何评估哪个分布和原始的数据分布更接近呢？这两种模型都将我们的问题减少到两个参数，牙齿的数量和概率(尽管我们只需要牙齿的数量就可以实现均匀分布)。这时候就需要Kullback-Leibler散度出马了，借助KL散度我们能评估哪个分布保留了我们原始数据的大部分信息。

在前面介绍Entropy的时候我已经提到了，信息熵告诉了我们对信息编码所需比特数的下限，但是并没有告诉我们应该怎么样编码才能达到这个下限。不过信息熵已经提供了非常有价值的信息：只要知道我们需要的比特数的理论下限，我们就有办法精确地量化数据中有多少信息。现在我们用了一个其他的分布去尽可能地拟合原始的分布，我们想量化这样做时损失了多少信息，KL散度就能完成这件事！

KL散度和信息熵非常相似，其实就是在信息熵的基础上做了一点点修改。由于需要比较我们的近似分布和原始分布相比丢失了多少信息，因此KL散度需要数据的原始分布p和近似分布q，其公式为：  
 D K L ( p ∣ ∣ q ) = ∑ i = 1 N p ( x i ) ⋅ \[ log ⁡ p ( x i ) − log ⁡ q ( x i ) \] D\_\{KL\}(p||q)=\\sum\_\{i=1\}^\{N\}\{p(x\_i)·\[\\log p(x\_i)-\\log q(x\_i)\]\} DKL(p∣∣q)=i=1∑Np(xi)⋅\[logp(xi)−logq(xi)\]  
本质上，KL散度就是描述原始分布中数据的概率和近似分布之间对数差的期望值：  
 D K L ( p ∣ ∣ q ) = E \[ l o g p ( x ) − l o g q ( x ) \] D\_\{KL\}(p||q)=E\[log p(x)-log q(x)\] DKL(p∣∣q)=E\[logp(x)−logq(x)\]  
另外一种更常见的KL散度的写法是：  
 D K L ( p ∣ ∣ q ) = ∑ i = 1 N p ( x i ) ⋅ l o g p ( x i ) q ( x i ) D\_\{KL\}(p||q)=\\sum\_\{i=1\}^\{N\}\{p(x\_i)·log \\frac\{p(x\_i)\}\{q(x\_i)\}\} DKL(p∣∣q)=i=1∑Np(xi)⋅logq(xi)p(xi)

有了KL散度，当我们用另一个分布近似一个分布时，我们可以精确地计算出丢失了多少信息。让我们回头看看我们的数据，看看结果是什么样子的。我们分别计算观察到的数据分布和均匀分布与二项分布的KL散度为：  
 D K L ( O b s e r v e d ∣ ∣ U n i f o r m ) = 0.338 D\_\{KL\}(Observed||Uniform)=0.338 DKL(Observed∣∣Uniform)=0.338  
 D K L ( O b s e r v e d ∣ ∣ B i n o m i a l ) = 0.477 D\_\{KL\}(Observed||Binomial)=0.477 DKL(Observed∣∣Binomial)=0.477  
使用二项式近似所损失的信息比使用均匀分布近似所损失的信息大。如果我们要选择一个来表示观测值，我们最好还是用均匀分布近似（虽然看起来挺不可思议的，但是我们要相信科学）。

最后，我把剩下的内容提炼一下：其一、KL散度的取值在0到正无穷之间，相关的理论推导后面我会结合模式识别与机器学习一书另外推送一篇，KL散度为0表示两个分布完美匹配，KL散度越大表示两个分布之间的差异越大。其二、把KL散度看作一个距离度量可能很合理，但是我们不能用KL散度来度量两个分布之间的距离，这是因为KL散度不是对称的。例如，如果我们用我们的观测数据来近似二项分布，我们会得到一个完全不同的结果。其三、KL散度在机器学习尤其是神经网络领域用途广泛，将KL散度与神经网络相结合，可以让我们学习非常复杂的数据近似分布。一种常见的方法被称为“变分自动编码器”，它学习了在数据集中近似信息的最佳方法。

*感谢阅读 本文完 欢迎关注我的微信公众号-热爱生活的小熊猫 持续更新优质文章*

[https_www.countbayesie.com_blog_2017_5_9_kullback-leibler-divergence-explained]: https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-explained
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70]: /images/20221024/53241183db344bb0bf19334a9940f099.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 1]: /images/20221024/cb7df5f6be1447c8b0306de6e6b7aa2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 2]: /images/20221024/feda4566ddc5449abd42b71d1d49ec25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 3]: /images/20221024/d8bf7f5ffaad4dd69ae553ad64c37bf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2ODIyMDI5_size_16_color_FFFFFF_t_70 4]: /images/20221024/7fb2e8bfdc4542968f7b97ba4c6e411f.png