交叉熵代价函数

- 日理万妓 2022-06-08 12:55 211阅读 0赞

本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。

1.从方差代价函数说起  
  
代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：

![20170926140435882][]

其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。  
  
在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：

![20170926140545246][]

然后更新w、b：

w <—— w - η\* ∂C/∂w = w - η \* a \*σ′(z)  
  
b <—— b - η\* ∂C/∂b = b - η \* a \* σ′(z)

因为sigmoid函数的性质，导致σ′(z)在z取大部分值时会很小（如下图标出来的两端，几近于平坦），这样会使得w和b更新非常慢（因为η \* a \* σ′(z)这一项接近于0）。

![20170926140649995][]

2.交叉熵代价函数（cross-entropy cost function）

为了克服这个缺点，引入了交叉熵代价函数（下面的公式对应一个神经元，多输入单输出）：

![20170926140732544][]

其中y为期望的输出，a为神经元实际输出【a=σ(z), where z=∑Wj\*Xj+b】  
  
与方差代价函数一样，交叉熵代价函数同样有两个性质：

*  非负性。（所以我们的目标就是最小化代价函数）
 *  当真实输出a与期望输出y接近的时候，代价函数接近于0.(比如y=0，a～0；y=1，a~1时，代价函数都接近0)。

另外，它可以克服方差代价函数更新权重过慢的问题。我们同样看看它的导数：

![20170926140819995][]

![20170926140836717][]

可以看到，导数中没有σ′(z)这一项，权重的更新是受σ(z)−y这一项影响，即受误差的影响。所以当误差大的时候，权重更新就快，当误差小的时候，权重的更新就慢。这是一个很好的性质。

## 3.总结 ##

*  当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢。
 *  不过，你也许会问，为什么是交叉熵函数？导数中不带σ′(z)项的函数有无数种，怎么就想到用交叉熵函数？这自然是有来头的，更深入的讨论就不写了，少年请自行了解。
 *  另外，交叉熵函数的形式是−\[ylna+(1−y)ln(1−a)\]而不是 −\[alny+(1−a)ln(1−y)\]，为什么？因为当期望输出的y=0时，lny没有意义；当期望y=1时，ln(1-y)没有意义。而因为a是sigmoid函数的实际输出，永远不会等于0或1，只会无限接近于0或者1，因此不存在这个问题。

4.还要说说：log-likelihood cost  
  
对数似然函数也常用来作为softmax回归的代价函数，在上面的讨论中，我们最后一层（也就是输出）是通过sigmoid函数，因此采用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层，此时常用的是代价函数是log-likelihood cost。  
  
其实这两者是一致的，logistic回归用的就是sigmoid函数，softmax回归是logistic回归的多类别推广。log-likelihood代价函数在二类别时就可以化简为交叉熵代价函数的形式。具体可以参考 [UFLDL教程][UFLDL]

转载请注明出处：[http://blog.csdn.net/u012162613/article/details/44239919][http_blog.csdn.net_u012162613_article_details_44239919]

[20170926140435882]: /images/20220608/2a9f0c895adf4c6c85ea688d9d333860.png
[20170926140545246]: /images/20220608/e7f3e769c62348efa7dd5441a186610c.png
[20170926140649995]: /images/20220608/12b05b27a93c4350b032f64e6be32aeb.png
[20170926140732544]: /images/20220608/b8f6503ef17c47e288923bec34fbbfe9.png
[20170926140819995]: /images/20220608/49584b727219425f96b72c689170dfbe.png
[20170926140836717]: /images/20220608/ac6718f1eed241259e8ada6988966c36.png
[UFLDL]: http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
[http_blog.csdn.net_u012162613_article_details_44239919]: http://blog.csdn.net/u012162613/article/details/44239919