前向传播算法(Forward propagation)与反向传播算法(Back propagation)以及sigmoid函数介绍

￡神魔★判官ぃ 2022-05-27 01:18 277阅读 0赞

** 前向传播算法(Forward propagation)与反向传播算法(Back propagation)以及sigmoid函数介绍**

**虽然学深度学习有一段时间了，但是对于一些算法的具体实现还是模糊不清，用了很久也不是很了解。因此特意先对深度学习中的相关基础概念做一下总结。先看看前向传播算法(Forward propagation)与反向传播算法(Back propagation)，sigmoid函数。**

## 1.前向传播 ##

![这里写图片描述][SouthEast]

如图所示，这里讲得已经很清楚了，前向传播的思想比较简单。   
举个例子，假设上一层结点i,j,k,…等一些结点与本层的结点w有连接，那么结点w的值怎么算呢？就是通过上一层的i,j,k等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数（即激活函数），如ReLu，sigmoid等函数，最后得到的结果就是本层结点w的输出。   
最终不断的通过这种方法一层层的运算，得到输出层结果。

对于前向传播来说，不管维度多高，其过程都可以用如下公式表示：

a2=σ(z2)=σ(a1∗W2\+b2)a2=σ(z2)=σ(a1∗W2+b2)

其中，上标代表层数，星号表示卷积，b表示偏置项bias，σσ表示激活函数。

## 2.反向传播算法(Back propagation) ##

BackPropagation算法是多层神经网络的训练中举足轻重的算法。简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。要回答题主这个问题“如何直观的解释back propagation算法？” 需要先直观理解多层神经网络的训练。

反向传播的方法其实也比较简单，但是因为需要求偏导，而我的数学又不怎么好，所以一直理解上有困难。下面上图：   
![反向传播示意图][20160515205049654]

由于我们前向传播最终得到的结果，以分类为例，最终总是有误差的，那么怎么减少误差呢，当前应用广泛的一个算法就是梯度下降算法，但是求梯度就要求偏导数，下面以图中字母为例讲解一下。

设最终总误差为 EE ，对于输出那么 EE \#对于输出结点y l 的偏导数是y l  - t l ，其中t l 是真实值 ∂yl∂zl∂yl∂zl 是指上面提到的激活函数， zlzl 是上面提到的加权和，那么这一层的 EE 对 zlzl 的偏导数为 ∂E∂zl=∂E∂yl∂yl∂zl∂E∂zl=∂E∂yl∂yl∂zl 。同理，下一层也是这么计算，（只不过 ∂E∂yk∂E∂yk 计算方法变了），一直反向传播到输入层，最后有 ∂E∂xi=∂E∂yj∂yj∂zj∂E∂xi=∂E∂yj∂yj∂zj  且  ∂zj∂xi=wij∂zj∂xi=wij    
然后调整这些过程中的权值，再不断进行前向传播和反向传播的过程，最终得到一个比较好的结果。

机器学习可以看做是数理统计的一个应用，在数理统计中一个常见的任务就是拟合，也就是给定一些样本点，用合适的曲线揭示这些样本点随着自变量的变化关系.

深度学习同样也是为了这个目的，只不过此时，样本点不再限定为(x, y)点对，而可以是由向量、矩阵等等组成的广义点对(X,Y)。而此时，(X,Y)之间的关系也变得十分复杂，不太可能用一个简单函数表示。然而，人们发现可以用多层神经网络来表示这样的关系，而多层神经网络的本质就是一个多层复合的函数。借用网上找到的一幅图\[1\]，来直观描绘一下这种复合关系。

![这里写图片描述][SouthEast 1]

其对应的表达式如下：   
![这里写图片描述][SouthEast 2]

上面式中的Wij就是相邻两层神经元之间的权值，它们就是深度学习需要学习的参数，也就相当于直线拟合y=k\*x+b中的待求参数k和b。

和直线拟合一样，深度学习的训练也有一个目标函数，这个目标函数定义了什么样的参数才算一组“好参数”，不过在机器学习中，一般是采用成本函数（cost function），然后，训练目标就是通过调整每一个权值Wij来使得cost达到最小。cost函数也可以看成是由所有待求权值Wij为自变量的复合函数，而且基本上是非凸的，即含有许多局部最小值。但实际中发现，采用我们常用的梯度下降法就可以有效的求解最小化cost函数的问题。

梯度下降法需要给定一个初始点，并求出该点的梯度向量，然后以负梯度方向为搜索方向，以一定的步长进行搜索，从而确定下一个迭代点，再计算该新的梯度方向，如此重复直到cost收敛。那么如何计算梯度呢？

假设我们把cost函数表示为H(W11,W12,⋯,Wij,⋯,Wmn)H(W11,W12,⋯,Wij,⋯,Wmn),那么它的梯度向量\[2\]就等于∇H=∂H∂W11**e**11\+⋯\+∂H∂Wmn**e**mn∇H=∂H∂W11e11+⋯+∂H∂Wmnemn, 其中**e**ijeij表示正交单位向量。为此，我们需求出cost函数H对每一个权值Wij的偏导数。而BP算法正是用来求解这种多层复合函数的所有变量的偏导数的利器。

我们以求e=(a+b)\*(b+1)的偏导\[3\]为例。   
它的复合关系画出图可以表示如下：   
![这里写图片描述][SouthEast 3]

在图中，引入了中间变量c,d。   
为了求出a=2, b=1时，e的梯度，我们可以先利用偏导数的定义求出不同层之间相邻节点的偏导关系，如下图所示。   
![这里写图片描述][SouthEast 4]

利用链式法则我们知道：

∂e∂a=∂e∂c⋅∂c∂a以及∂e∂b=∂e∂c⋅∂c∂b\+∂e∂d⋅∂d∂b∂e∂a=∂e∂c⋅∂c∂a以及∂e∂b=∂e∂c⋅∂c∂b+∂e∂d⋅∂d∂b

链式法则在上图中的意义是什么呢？其实不难发现，∂e∂a∂e∂a的值等于从a到e的路径上的偏导值的乘积，而∂e∂b∂e∂b的值等于从b到e的路径1(b-c-e)上的偏导值的乘积加上路径2(b-d-e)上的偏导值的乘积。也就是说，对于上层节点p和下层节点q，要求得∂p∂q∂p∂q，需要找到从q节点到p节点的所有路径，并且对每条路径，求得该路径上的所有偏导数之乘积，然后将所有路径的 “乘积” 累加起来才能得到∂p∂q∂p∂q的值。

大家也许已经注意到，这样做是十分冗余的，因为很多路径被重复访问了。比如上图中，a-c-e和b-c-e就都走了路径c-e。对于权值动则数万的深度模型中的神经网络，这样的冗余所导致的计算量是相当大的。

同样是利用链式法则，BP算法则机智地避开了这种冗余，它对于每一个路径只访问一次就能求顶点对所有下层节点的偏导值。   
正如反向传播(BP)算法的名字说的那样，BP算法是反向(自上往下)来寻找路径的。

从最上层的节点e开始，初始值为1，以层为单位进行处理。对于e的下一层的所有子节点，将1乘以e到某个节点路径上的偏导值，并将结果“堆放”在该子节点中。等e所在的层按照这样传播完毕后，第二层的每一个节点都“堆放”些值，然后我们针对每个节点，把它里面所有“堆放”的值求和，就得到了顶点e对该节点的偏导。然后将这些第二层的节点各自作为起始顶点，初始值设为顶点e对它们的偏导值，以”层”为单位重复上述传播过程，即可求出顶点e对每一层节点的偏导数。

以上图为例，节点c接受e发送的1\*2并堆放起来，节点d接受e发送的1\*3并堆放起来，至此第二层完毕，求出各节点总堆放量并继续向下一层发送。节点c向a发送2\*1并对堆放起来，节点c向b发送2\*1并堆放起来，节点d向b发送3\*1并堆放起来，至此第三层完毕，节点a堆放起来的量为2，节点b堆放起来的量为2\*1+3\*1=5, 即顶点e对b的偏导数为5.

举个不太恰当的例子，如果把上图中的箭头表示欠钱的关系，即c→e表示e欠c的钱。以a, b为例，直接计算e对它们俩的偏导相当于a, b各自去讨薪。a向c讨薪，c说e欠我钱，你向他要。于是a又跨过c去找e。b先向c讨薪，同样又转向e，b又向d讨薪，再次转向e。可以看到，追款之路，充满艰辛，而且还有重复，即a, b 都从c转向e。

而BP算法就是主动还款。e把所欠之钱还给c，d。c，d收到钱，乐呵地把钱转发给了a，b，皆大欢喜。

## 3.反向传播具体计算过程推导 ##

为了方便起见，这里我定义了三层网络，输入层（第0层），隐藏层（第1层），输出层（第二层）。并且每个结点没有偏置（有偏置原理完全一样），激活函数为sigmod函数（不同的激活函数，求导不同），符号说明如下：   
![这里写图片描述][SouthEast 5]

对应网络如下：

![这里写图片描述][SouthEast 6]

其中对应的矩阵表示如下

![这里写图片描述][SouthEast 7]

首先我们先走一遍正向传播，公式与相应的数据对应如下：

![这里写图片描述][SouthEast 8]

那么：

![这里写图片描述][SouthEast 9]

同理可以得到：

![这里写图片描述][SouthEast 10]

那么最终的损失为

![这里写图片描述][SouthEast 11]

，我们当然是希望这个值越小越好。这也是我们为什么要进行训练，调节参数，使得最终的损失最小。这就用到了我们的反向传播算法，实际上反向传播就是梯度下降法中链式法则的使用。

下面我们看如何反向传播

根据公式，我们有：

![这里写图片描述][SouthEast 12]

这个时候我们需要求出C对w的偏导，则根据链式法则有：

![这里写图片描述][SouthEast 13]

同理有：

![这里写图片描述][SouthEast 14]

到此我们已经算出了最后一层的参数偏导了.我们继续往前面链式推导：

我们现在还需要求

![这里写图片描述][SouthEast 15]

，下面给出一个推导其它全都类似

![这里写图片描述][SouthEast 16]

同理可得其它几个式子：

则最终的结果为：

![这里写图片描述][SouthEast 17]

再按照这个权重参数进行一遍正向传播得出来的Error为0.165

而这个值比原来的0.19要小，则继续迭代，不断修正权值，使得代价函数越来越小，预测值不断逼近0.5.我迭代了100次的结果，Error为5.92944818e-07（已经很小了，说明预测值与真实值非常接近了），最后的权值为：

![这里写图片描述][SouthEast 18]

bp过程可能差不多就是这样了，可能此文需要你以前接触过bp算法，只是还有疑惑，一步步推导后，会有较深的理解。

上面的python代码实现如下：

#!/usr/bin/env python
    #coding:utf-8
    
    
    import numpy as np
    
    def nonlin(x, deriv = False):
        if(deriv == True):
            return x * (1 - x)
        return 1 / (1 + np.exp(-x))
    
    
    X = np.array([[0.35], [0.9]])
    y = np.array([[0.5]])
    
    np.random.seed(1)
    
    W0 = np.array([[0.1, 0.8], [0.4, 0.6]])
    W1 = np.array([[0.3, 0.9]])
    
    print 'original ', W0, '\n', W1
    
    for j in xrange(100):
        l0 = X
        l1 = nonlin(np.dot(W0, l0))
        l2 = nonlin(np.dot(W1, l1))
        l2_error = y - l2
        Error = 1 / 2.0 * (y-l2)**2
        print 'Error:', Error
    
        l2_delta = l2_error * nonlin(l2, deriv=True)
    
        l1_error = l2_delta * W1 #back propagation
        l1_delta = l1_error * nonlin(l1, deriv=True)
    
        W1 += l2_delta * l1.T
        W0 += l0.T.dot(l1_delta)
        print W0, '\n', W1

**4、补充：sigmoid函数，特性及求导**

## 4.1、sigmoid函数 ##

sigmoid函数，也就是s型曲线函数，如下：

函数：f(z)=11\+e−z函数：f(z)=11+e−z

导数：f′(z)=f(z)(1−f(z))导数：f′(z)=f(z)(1−f(z))

上面是我们常见的形式，虽然知道这样的形式，也知道计算流程，不够感觉并不太直观，下面来分析一下。

### 4.1 从指数函数到sigmoid ###

首先我们来画出指数函数的基本图形：

![这里写图片描述][SouthEast 19]

从上图，我们得到了这样的几个信息，指数函数过(0,1)点，单调递增/递减，定义域为(−∞,\+∞)(−∞,+∞)，值域为(0,\+∞)(0,+∞)，再来我们看一下sigmoid函数的图像：

![这里写图片描述][SouthEast 20]

如果直接把e−xe−x放到分母上，就与exex图像一样了，所以分母加上1，就得到了上面的图像，定义域是(−∞,\+∞)(−∞,+∞)，值域是(0,1)(0,1)，那么就有一个很好地特性了，就是不管xx是什么，都可以得到(0,1)(0,1)之间的值；

### 4.3 对数函数与sigmoid ###

首先来看一下对数函数的图像：

![这里写图片描述][SouthEast 21]

对数函数的图像如上，单调递减，有一个比较好的特性就是在(0,1)(0,1)之间，在接近0的时候，就近无穷大，接近1的时候为0，如果我们把前面的sigmoid函数放到自变量的位置上，就得到了(0,1)(0,1)的图像；

我们如何来衡量一个结果与实际计算值得差距呢？一种思路就是，如果结果越接近，差值就越小，反之越大，这个函数就提供了这样一种思路，如果计算得到的值越接近1，那么那么表示与世界结果越接近，反之越远，所以利用这个函数，可以作为逻辑回归分类器的损失函数，如果所有的结果都能接近结果值，那么就越接近于0，如果所有的样本计算完成以后，结果接近于0，就表示计算结果与实际结果非常相近。

## 4.4、sigmoid函数求导 ##

sigmoid导数具体的推导过程如下：

f′(z)=(11\+e−z)′=e−z(1\+e−z)2=1\+e−z−1(1\+e−z)2=1(1\+e−z)(1−1(1\+e−z))=f(z)(1−f(z))f′(z)=(11+e−z)′=e−z(1+e−z)2=1+e−z−1(1+e−z)2=1(1+e−z)(1−1(1+e−z))=f(z)(1−f(z))

参考网址： 前向传播算法(Forward propagation)与反向传播算法(Back propagation)以及sigmoid函数介绍

[https://blog.csdn.net/bitcarmanlee/article/details/78819025][https_blog.csdn.net_bitcarmanlee_article_details_78819025]

[https://blog.csdn.net/lhanchao/article/details/51419150][https_blog.csdn.net_lhanchao_article_details_51419150]

[https://blog.csdn.net/zhishengqianjun/article/details/75303820][https_blog.csdn.net_zhishengqianjun_article_details_75303820]

[SouthEast]: /images/20220527/8e1ac41572a84ed3949606ee03b7db5b.png
[20160515205049654]: /images/20220527/415011a9eaec445d9f6ecc17bd2995cd.png
[SouthEast 1]: /images/20220527/2904df4339a64ff18d67d87438a0c1dd.png
[SouthEast 2]: /images/20220527/82108860b7fa4c5eac3ecf9336ebb0bf.png
[SouthEast 3]: /images/20220527/92ecf18d9d72438792992c511c7fce88.png
[SouthEast 4]: /images/20220527/857e15484c6643a2b5beb36e0e36ba4d.png
[SouthEast 5]: /images/20220527/311aee4ac42b48fbbe8ae14b302bb0de.png
[SouthEast 6]: /images/20220527/60f28be50c004bd899cd60f15565b19f.png
[SouthEast 7]: /images/20220527/0b1bc9aaa0fc4ff089ec680cdbafc871.png
[SouthEast 8]: /images/20220527/2388d06e23a04f23b6893a40d4c54417.png
[SouthEast 9]: /images/20220527/57dd827058f94fc09a37175e6470aca8.png
[SouthEast 10]: /images/20220527/76ae19fce0144fbbb485c5959944364f.png
[SouthEast 11]: /images/20220527/f42629b85bb843d6b05db537331d993d.png
[SouthEast 12]: /images/20220527/64be168299524e45a88433564f081bc5.png
[SouthEast 13]: /images/20220527/e33f7e8fc69c4375b8743e9e74cb5192.png
[SouthEast 14]: /images/20220527/7796d1f2a6b24e7793cfafc01fd320ec.png
[SouthEast 15]: /images/20220527/570857d2a4ba415a942a271c55fd3bb1.png
[SouthEast 16]: /images/20220527/71de0ee0d32f454699fb9240f727191c.png
[SouthEast 17]: /images/20220527/420601addf4d4bd881dc56668ff746b9.png
[SouthEast 18]: /images/20220527/1ea28b93287345cca7b42bc5a6d00bd8.png
[SouthEast 19]: /images/20220527/0c4fc54e7d3a4c7aa1543820e2912057.png
[SouthEast 20]: /images/20220527/6b4051a4a53048c38c17ca222b9758b9.png
[SouthEast 21]: /images/20220527/6dcd33df6bbf44f6b7a791591bf077be.png
[https_blog.csdn.net_bitcarmanlee_article_details_78819025]: https://blog.csdn.net/bitcarmanlee/article/details/78819025
[https_blog.csdn.net_lhanchao_article_details_51419150]: https://blog.csdn.net/lhanchao/article/details/51419150
[https_blog.csdn.net_zhishengqianjun_article_details_75303820]: https://blog.csdn.net/zhishengqianjun/article/details/75303820