交叉熵损失函数原理详解

小灰灰 2022-08-29 13:45 241阅读 0赞

多分类中，只对目标正样本求loss，其余不管。

知乎的这篇文章讲的也挺好：

[https://zhuanlan.zhihu.com/p/35709485][https_zhuanlan.zhihu.com_p_35709485]

多分类：

## (2) 多分类 ##

多分类的情况实际上就是对二分类的扩展：

![20210722153639422.png][]

其中：

![20210722153709764.png][]

现在我们利用这个表达式计算上面例子中的损失函数值：

**模型1**：

![2021072215375171.png][]

对所有样本的loss求平均：

![20210722153805695.png][]

**模型2：**

![20210722153822419.png][]

****对所有样本的loss求平均：

![20210722153844540.png][]

可以发现，交叉熵损失函数可以捕捉到**模型1**和**模型2**预测效果的差异。

## 2. 函数性质 ##

![8d9318c8b27f8a18de18823173ea05a6.png][]

可以看出，该函数是凸函数，求导时能够得到全局最优值。

之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从原理入手，搞懂它，故在此写一篇博客进行总结，以便以后翻阅。

###  ###

### 信息量 ###

信息奠基人香农（Shannon）认为“信息是用来**消除**随机**不确定性**的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。

**“太阳从东边升起”**，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。

**”2018年中国队成功进入世界杯“**，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句话的信息量很大。

根据上述可总结如下：**信息量的大小与信息发生的概率成反比**。概率越大，信息量越小。概率越小，信息量越大。

![e91b5cc03c65bce323afb02927410985.png][]

### 信息熵 ###

信息熵也被称为熵，用来表示所有信息量的期望。

期望是试验中每次可能结果的概率乘以其结果的总和。

所以信息量的熵可表示为：（这里的XXX是一个离散型随机变量）![834d700c955313a1cf16e6afe1bf8bb0.png][]

### 相对熵（KL散度） ###

![fca0aae44f3595cfee64d451481a75ae.png][]

### 交叉熵 ###

![d6cd7e2b397e6cf7826ae16df3c24c47.png][]

### 交叉熵在单分类问题中的应用 ###

![387dbedf2296091e265b3f6e8ff15bf4.png][]

### 总结： ###

*  交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。
 *  交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。

### 参考： ###

*https://blog.csdn.net/tsyccnh/article/details/79163834*

[https_zhuanlan.zhihu.com_p_35709485]: https://zhuanlan.zhihu.com/p/35709485
[20210722153639422.png]: /images/20220829/024c2ab2278b4cb3b6d6e43bb258a024.png
[20210722153709764.png]: /images/20220829/402f8c94aee54407a305acaef1d28382.png
[2021072215375171.png]: /images/20220829/ed5297cd113940f2836188d3cda046ca.png
[20210722153805695.png]: /images/20220829/ea78ba0db95e4f3a9dffa5e6849923a8.png
[20210722153822419.png]: /images/20220829/7105bfc273e1411daec3a78b1fe8fb49.png
[20210722153844540.png]: /images/20220829/740549e57d44493ca6c7bbf1e4bc5662.png
[8d9318c8b27f8a18de18823173ea05a6.png]: /images/20220829/1feb282fa66847c39b2579b8108980bb.png
[e91b5cc03c65bce323afb02927410985.png]: /images/20220829/771a0116f9154e129bcc4803a621d109.png
[834d700c955313a1cf16e6afe1bf8bb0.png]: /images/20220829/d7913be6eedb435eae68c89f7dd29906.png
[fca0aae44f3595cfee64d451481a75ae.png]: /images/20220829/9d2657ffe4df4e42a8889f67e0b10065.png
[d6cd7e2b397e6cf7826ae16df3c24c47.png]: /images/20220829/f7c926230a7d4601978fa5287bccdb45.png
[387dbedf2296091e265b3f6e8ff15bf4.png]: /images/20220829/20bb440d7da94a0496f514530f6af360.png