BP 算法之一种直观的解释

水深无声 2022-05-20 21:16 164阅读 0赞

## https://www.cnblogs.com/daniel-D/archive/2013/06/03/3116278.html    ##

##     ##

## 0. 前言 ##

之前上模式识别课程的时候，老师也讲过 MLP 的 BP 算法， 但是 ppt 过得太快，只有一个大概印象。后来课下自己也尝试看了一下 [stanford deep learning][] 的 wiki， 还是感觉似懂非懂，不能形成一个直观的思路。趁着这个机会，我再次 revisit 一下。本文旨在说明对 BP 算法的直观印象，以便迅速写出代码，具体偏理论的链式法则可以参考[我的下一篇博客][Link 1](都是图片，没有公式)。

## 1. LMS 算法 ##

故事可以从线性 model 说起（顺带复习一下）～在线性 model 里面，常见的有感知机学习算法、 LMS 算法等。感知机算法的损失函数是误分类点到 Target 平面的总距离，直观解释如下：当一个实例点被误分，则调整 w， b 的值，使得分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，在 Bishop 的 PRML一书中，有一个非常优雅的图展现了这个过程。但是了解了 MLP 的 BP 算法之后，感觉这个算法与 LMS 有点相通之处。虽然从名字上 MLP 叫做多层感知机，感知机算法是单层感知机。

LMS (Least mean squares) 算法介绍比较好的资料是 Andrew Ng cs229 的 [Lecture Notes][]。假设我们的线性 model 是这样的：

> ![03233254-3176ade5771e42988b03c18fc7c1d331.png][]

在上面这个模型中，用公式可以表达成：

> ![gif.latex_h_5Ctheta_20_7B_28x_29_7D_20_20_5Ctheta_20_5ETx_5Ctheta_20_7B1_7Dx_1_5Ctheta_20_2x_2_20_5Ctheta_20_0][]

如何判断模型的好坏呢？损失函数定义为输出值 h(x) 与目标值 y 之间的“二乘”：

> ![03233308-b261f125994e482f9f88050d943ccf2b.png][]

对偏导进行求解，可以得到：

> ![03233317-775d2307dc7c46b8a5dfba716c2a4bd5.png][]

如果要利用 gradient descent 的方法找到一个好的模型，即一个合适的 theta 向量，迭代的公式为：

> ![03233327-4fce87a4944d41748e22ccd713cb0f3a.png][]

所以，对于一个第 i 个单独的训练样本来说，我们的第 j 个权重更新公式是：

> ![gif.latex_5Ctheta_20_j_5Ctheta_20_j_5Calpha_20_28y_5E_7B_28i_29_7D_20-_20h_5Ctheta_20_28x_5E_7B_28i_29_7D_29_29_20x_j_5E_7Bi_7D][]

这个更新的规则也叫做 Widrow-Hoff learning rule， 从上到下推导下来只有几步，没有什么高深的理论，但是，仔细观察上面的公式，就可以发现几个 natural and intuitive 的特性。

1.  首先，权重的更新是跟 y - h(x) 相关的，如果训练样本中预测值与 y 非常接近，表示模型趋于完善，权重改变小。反之，如果预测值与 y 距离比较远，说明模型比较差，这时候权重变化就比较大了。
2.  权重的变化还与 xi 也就是输入节点的值相关。也就是说，在同一次 train 中，由于 y - h(x) 相同， 细线上的变化与相应的输入节点 x 的大小是成正比的(参考最上面的模型图）。这中间体现的直观印象就是：残差的影响是按照 xi 分配到权重上去滴，这里的残差就是 h(x) - y。

LMS 算法暂时先讲到这里，后面的什么收敛特性、梯度下降之类的有兴趣可以看看 Lecture Notes。

## 2. MLP 与 BP 算法 ##

前面我们讲过 [logistic regression][]， logistic regression 本质上是线性分类器，只不过是在线性变换后通过 sigmoid 函数作非线性变换。而神经网络 MLP 还要在这个基础上加上一个新的nonlinear function, 为了讨论方便，这里的 nonlinear function 都用 sigmoid 函数，并且损失函数忽略 regulization term， 那么， MLP 的结构就可以用下面这个图来表示：

> ![03233344-3eedac97c3be4799b3653fcd7bb7828a.png][]  
> z: 非线性变换之前的节点值，实际上是前一层节点的线性变换  
> a: 非线性变换之后的 activation 值
> 
> a=f(z): 这里就是 sigmoid function

现在我们要利用 LMS 中的想法来对这个网络进行训练。

假设在某一个时刻，输入节点接受一个输入， MLP 将数据从左到右处理得到输出，这时候产生了残差。在第一小节中，我们知道， LMS 残差等于 h(x) - y。 MLP 的最后一层和 LMS 线性分类器非常相似，我们不妨先把最后一层的权重更新问题解决掉。在这里输出节点由于增加了一个非线性函数，残差的值比 LMS 的残差多了一个求导 (实际上是数学上 chain rule 的推导)：

> ![57a203683fc9c009c41ff97c1e1f6f54.png][]

得到残差，根据之前猜想出来的规律( - -!), 残差的影响是按照左侧输入节点的 a 值大小按比例分配到权重上去的，所以呢，就可以得到:

> ![21db5874b1c1c14bcb675e9961dac9cb.png][]

如果乘以一个 learning rate, 这就是最后一层的权重更新值。

我们在想，要是能得到中间隐层节点上的残差，问题就分解成几个我们刚刚解决的问题。关键是：中间隐层的残差怎么算？

实际上就是按照权重与残差的乘积返回到上一层。完了之后还要乘以非线性函数的导数*( again it can be explained by chain rule)*：

> ![20f9979d6a46e7bca83f217bdfead4f0.png][]

得到隐层的残差，我们又可以得到前一层权重的更新值了。这样问题就一步一步解决了。

最后我们发现，其实咱们不用逐层将求残差和权值更新交替进行，可以这样:

1.  先从右到左把每个节点的残差求出来(数学上表现为反向传导过程)
2.  然后再求权重的更新值
3.  更新权重

> Q： 这是在 Ng 教程中的计算过程， 但是在有些资料中，比如参考资料 \[2\]，残差和权值更新是逐层交替进行的，那么，上一层的残差等于下一层的残差乘以更新后的权重，明显，Ng 的教程是乘以没有更新的权重，我觉得后者有更好的数学特性，期待解疑！

用一张粗略的静态图表示残差的反向传播：

> ![03233410-bc4e0b43225e4d3ab7a61a4c2849b29d.png][]

> 红色的曲线就是对 sigmoid function 的求导，和高斯分布非常相似。

用一张动态图表示前向（FP）和后向（BP）传播的全过程：

> ![08135834-8e9b8ff2212545c0aeb1d68103ef3d64.gif][]

OK，现在 BP 算法有了一个直观的思路，下面，将从反向传导的角度更加深入地分析一下 BP 算法。

--------------------

> 参考资料：

> [反向传导算法][Link 2]  
> [BP算法浅谈][BP]  
> 统计学习方法 李航 着

听说，资料要多重备份，本文博客：http://www.cnblogs.com/daniel-D/ ，本人公众号：kaggle实战，欢迎关注~~

[stanford deep learning]: http://deeplearning.stanford.edu/wiki/index.php/Backpropagation_Algorithm
[Link 1]: http://www.cnblogs.com/daniel-D/archive/2013/06/06/3121742.html
[Lecture Notes]: http://cs229.stanford.edu/notes/cs229-notes1.pdf
[03233254-3176ade5771e42988b03c18fc7c1d331.png]: /images/20220521/7d38e56b86f7401880fd02bbff23e7ce.png
[gif.latex_h_5Ctheta_20_7B_28x_29_7D_20_20_5Ctheta_20_5ETx_5Ctheta_20_7B1_7Dx_1_5Ctheta_20_2x_2_20_5Ctheta_20_0]: http://latex.codecogs.com/gif.latex?h_%5Ctheta%20%7B%28x%29%7D%20=%20%5Ctheta%20%5ETx=%5Ctheta%20_%7B1%7Dx_1+%5Ctheta%20_2x_2%20+%5Ctheta%20_0
[03233308-b261f125994e482f9f88050d943ccf2b.png]: /images/20220521/b67b5a4e98e34d7db1c9ecb79a9cc68d.png
[03233317-775d2307dc7c46b8a5dfba716c2a4bd5.png]: /images/20220521/1593433a957e4f5caeae1f4af9b0d8ca.png
[03233327-4fce87a4944d41748e22ccd713cb0f3a.png]: /images/20220521/79e45c88d2f049859be643fff830db21.png
[gif.latex_5Ctheta_20_j_5Ctheta_20_j_5Calpha_20_28y_5E_7B_28i_29_7D_20-_20h_5Ctheta_20_28x_5E_7B_28i_29_7D_29_29_20x_j_5E_7Bi_7D]: http://latex.codecogs.com/gif.latex?%5Ctheta%20_j=%5Ctheta%20_j+%5Calpha%20%28y%5E%7B%28i%29%7D%20-%20h_%5Ctheta%20%28x%5E%7B%28i%29%7D%29%29%20x_j%5E%7Bi%7D
[logistic regression]: http://www.cnblogs.com/daniel-D/archive/2013/05/30/3109276.html
[03233344-3eedac97c3be4799b3653fcd7bb7828a.png]: /images/20220521/38bfb9fc9d3c4a8ba07e85facbd29605.png
[57a203683fc9c009c41ff97c1e1f6f54.png]: /images/20220521/f98ab6b9ed1241a1b6dcf63f34ad62c5.png
[21db5874b1c1c14bcb675e9961dac9cb.png]: /images/20220521/a5b289ec7ed54d48b66c9b8b6fb18100.png
[20f9979d6a46e7bca83f217bdfead4f0.png]: /images/20220521/221acf0dda1140dab48f85a850f4c3e3.png
[03233410-bc4e0b43225e4d3ab7a61a4c2849b29d.png]: /images/20220521/cc25e0f1a5724e9f8e8c038d787e4f15.png
[08135834-8e9b8ff2212545c0aeb1d68103ef3d64.gif]: /images/20220521/ad6d8def403848a484137fe1ad1e8e98.png
[Link 2]: http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95
[BP]: http://blog.csdn.net/pennyliang/article/details/6695355