机器学习-补充01 交叉熵存在的意义

梦里梦外; 2022-11-21 11:18 265阅读 0赞

## 交叉熵存在的意义和与平方差相比有什么好处？ ##

一个非常常见的，非常漂亮的成本函数是“交叉熵”（cross-entropy）。交叉熵产生于信息论里面的信息压缩编码技术，但是它后来演变成为从博弈论到机器学习等其他领域里的重要技术手段。它的定义如下：

![c02ccfa178dc464f02f29ab0b0171818.png][]

其中，y 是我们预测的概率分布, y’ 是实际的分布

**1.交叉熵是正的，2.当所有输入x的输出都能接近期望输出y的话，交叉熵的值将会接近 0**。这两个特征在直觉上我们都会觉得它适合做代价函数。事实上，我们的均方代价函数也同时满足这两个特征。然而....

## 为什么在神经网络中用交叉熵代替二次代价函数？ ##

还是从反向传播，参数更新的角度理解更新参数的公式如下：

![80da0a8a915185c9d58df81f6fa664ed.png][]

![ab78a6172cc44799535ee10bca268464.png][]

a 是 神经元的输出，其中 a = σ(z)， z = wx + b，可知，**偏导数受激活函数的导数影响**，假设这里是传统的**sigmoid激活函数（在之前很多时候都是）。**那么sigmoid 的导数在输出接近 0 和 1 的时候 是非常小的，这会导致一些实例在刚开始训练时学习得非常慢！

但是如果换成是交叉熵loss，其更新权重公式最后推导得出如下：

![bc3a552395f50d0d5a81694ba2b07e33.png][]

![e3b1a184d3685be546ecd72a0550bd6b.png][]

由以上公式可知，权重学习的速度**受到 σ(z) − y 影响**，更大的误差，就有更快的学习速度，还避免了二次代价函数方程中因 σ′(z) 导致的学习缓慢。

> 但是现在也有很多其他的激活函数并不会产生饱和状态，那么均方差也有其存在价值。

[c02ccfa178dc464f02f29ab0b0171818.png]: /images/20221120/46f7c7856afe4f0497a7348b43838ec6.png
[80da0a8a915185c9d58df81f6fa664ed.png]: /images/20221120/8c0376ee2cd64808a89ebbe32dae81f9.png
[ab78a6172cc44799535ee10bca268464.png]: /images/20221120/3c3eb7172e3f4af0a0a3a1d6e41ab1d3.png
[bc3a552395f50d0d5a81694ba2b07e33.png]: /images/20221120/8c839fd6718f45de87dd5e758bf0a48c.png
[e3b1a184d3685be546ecd72a0550bd6b.png]: /images/20221120/7a13936c7b0b4f2d9e9c5b6c1c875575.png