深度学习知识总结—— 2. 计算图与反向传播（Computational Graph and Back Propagation）

﹏ヽ暗。殇╰゛Y 2022-10-08 11:17 142阅读 0赞

### 文章目录 ###

*  计算图（Computational Graph）
 *  反向传播（Back Propagation）
 *  参数更新

我们在前面的内容里介绍过梯度下降。之所以使用梯度下降，是因为面对未知问题，求解它的参数解时，我们可以通过梯度下降（Gradient Descent）方法快速的逼近问题解。即，通过计算损失函数对于 ω \\omega ω的导数，这里的 ω \\omega ω也就是权重，或者你可以理解为对于目标函数

y = ω x y = \\omega x y=ωx

这里的 ω \\omega ω应该取多少，才能使我们得到的函数与原函数一致，或者误差最小。

因此，从数学上表达，即：  
 ∂ L o s s ∂ ω → 0 \\frac\{\\partial Loss\}\{\\partial \\omega\} \\rightarrow 0 ∂ω∂Loss→0

另，如果Loss函数本身是一个复杂的复合函数，那么可以通过链式法则（Chain Rule）将问题化简为简单的问题形式，逐个求导，即：

∂ L o s s ∂ ω = ∂ L o s s ∂ u ⋅ ∂ u ∂ ω \\frac\{\\partial Loss\}\{\\partial \\omega\} = \\frac\{\\partial Loss\}\{\\partial u\} \\cdot \\frac\{\\partial u\}\{\\partial \\omega\} ∂ω∂Loss=∂u∂Loss⋅∂ω∂u

在梯度下降算法介绍中，我提到过其中的一个重要计算过程，用流程图进行表示如下：

Created with Raphaël 2.3.0Start计算参数符合期望？End更新参数yesno

**这里的符合期望，即得到的新函数与目标函数关于相同定义域所取得的值域之间的差多少。**

另外，如果说正向传播，其实就是 **使用新参数 ω \\omega ω 计算新值域  → \\rightarrow → 新值域与原值域之间比较误差**

那么反向传播的实际意义就是 **评估值域的误差情况  → \\rightarrow → 更新参数 ω \\omega ω** 这一过程。

所以，为了更好理解这个过程，我们先引入一个名为计算图的概念。

# 计算图（Computational Graph） #

还记得从小学开始，老师要求我们必须理解的数学运算优先级吧，例如：

y = A ( x + B ) + C y = A(x + B) + C y=A(x\+B)\+C

如果把计算过程按优先级进行分解，那么它的计算过程通常是：

1.  首先计算：  Z 0 = x + B Z\_0 = x+B Z0=x\+B
2.  其次计算： Z 1 = Z 0 × A Z\_1 = Z\_0 \\times A Z1=Z0×A
3.  最后计算： y = Z 1 + C y = Z\_1 + C y=Z1\+C

表示为计算图的形式就变成了如下样子：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center]  
这样，从计算图上看，涉及到的运算过程一共是三层（每一步的运算过程都可以作为计算图的一层运算节点）。涉及到的变量只有1个，而常量有3个。在某些计算图中，你或许会看到常量跟运算符绑定在一起，共同作为运算节点出现，就像下面这样：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 1]  
在工程上，基本上我们遇到的多数问题都可以使用计算图的形式进行表示。你可能会问，到目前为止，计算图和神经元网络之间到底有什么关系呢？别急，现在我们把计算图放倒后看一下，让新的图以左边是输入，右边是输出的形式展现出来。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 2]  
这里，你可能发现了，之前我们所有的节点都朝着一个方向的，从输入到输出；可是神经元网络（Neural Network）经常有提到什么反馈的，这又是什么情况呢？

这里提到的反馈，通常是指的向后传播或反向传播（Back Propagation）。与正向传播求函数的解不同的是，反向传播是将求解的值跟原数据进行比对后，向上一步进行修正的过程。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 3]  
例如对于上面这图来说，其正向传播是图中黑色箭头部分，而反向传播就是图中橙红色箭头部分。

# 反向传播（Back Propagation） #

**在前面我提到过说，如果正向传播的过程，是使用参数计算出数列（或矩阵）的结果，那么反向传播就是通过对比新的数列（或矩阵）与观测结果之间的误差，来更新参数的过程。**

现在我们针对这样一种情况，给定一个线性模型

y ^ = x × ω \\hat y = x \\times \\omega y^=x×ω

然后再给定一组数据：

现在需要通过构建神经网络来求解参数  ω \\omega ω 应该取多少，才能符合这个线性模型自变量与应变量之间应有的关系。

> 补充知识：  
> 这里涉及到梯度下降算法，如果你不清楚梯度下降过程，那么请参考我前面的文章，对于你理解这部分内容会有帮助：  
> [梯度下降算法——1. 什么是梯度下降][1.]  
> [梯度下降算法——2.梯度下降算法实现][2.]

所以其第一层的结构就变成如下形式：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 4]

这里的  Y ∗ Y\* Y∗ 因为绘图软件的关系，其实是  y ^ \\hat y y^ 然后对产生的新值与观测值进行比对，于是产生了新的一层：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 5]  
如果我们选用一个均方差（Mean Squared Equation）作为损失函数（评价函数），那么就有如下公式：

L o s s = 1 N ∑ ( y ^ − y ) 2 Loss = \\frac\{1\}\{N\} \\sum (\\hat y - y) ^ 2 Loss=N1∑(y^−y)2

如果假设此时得到的  y ^ x ≠ y x \\hat y\_x \\neq y\_x y^x=yx， 即每一项 y ^ \\hat y y^ 与 y之间都存在误差，自然MSE方程的和不可能为0，为了令  L o s s → 0 Loss \\rightarrow 0 Loss→0，就会在这个时候激活反向传播过程。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 6]

由于令  L o s s → 0 Loss \\rightarrow 0 Loss→0 的这个过程，很像以前学过的关于极限的形式。换句话说，要想让MSE方程为0，就需要让MSE方程中涉及的权重尽可能的接近被观测的数据应有的权重 ，即：

ω 预 测 → ω 观 测 \\omega\_\{预测\} \\rightarrow \\omega\_\{观测\} ω预测→ω观测

所以在无限趋近于观测结果的过程中，就可以出现了求极限的情况，即

lim ⁡ ω 预 测 → ω 观 测 L o s s ( ω ) → 0 \\lim\_\{\\omega\_\{预测\} \\rightarrow \\omega\_\{观测\}\} Loss(\\omega) \\rightarrow 0 ω预测→ω观测limLoss(ω)→0

把MSE方程代入Loss中，就可以得到这样的形式：

lim ⁡ ω 预 测 → ω 观 测 L o s s ( ω ) = lim ⁡ 1 N ∑ ( y ^ − y ) 2 / ω → 0 \\lim\_\{\\omega\_\{预测\} \\rightarrow \\omega\_\{观测\}\} Loss(\\omega) = \\lim\\frac\{1\}\{N\} \\sum (\\hat y - y)^2 / \\omega \\rightarrow 0 ω预测→ω观测limLoss(ω)=limN1∑(y^−y)2/ω→0

由于取极限的过程本质上就是对函数求导的过程，那么我们很容易就进入到了导数的范畴，即：

∂ L o s s ∂ ω = ∂ 1 / N ∑ ( y ^ − y ) 2 ∂ ω = 1 N ∂ ( y ^ − y ) 2 ∂ ω \\frac\{\\partial Loss\}\{\\partial \\omega\} = \\frac\{\\partial 1/N \\sum (\\hat y - y)^2\}\{\\partial \\omega\} = \\frac\{1\}\{N\} \\frac\{\\partial (\\hat y - y)^2\}\{\\partial \\omega\} ∂ω∂Loss=∂ω∂1/N∑(y^−y)2=N1∂ω∂(y^−y)2

导数，即变化率、斜率，如果你看着有点懵逼。那么如果你还记得中学期间，导数在物理中的实际应用，比如加速度。那么可以类比来理解在神经元网络中导数的意义。也就是说 **新的数列（或矩阵），与原始的被观测数列（或矩阵）的误差应该尽可能少。以变化率来说，如果变化率越大，则说明误差越大，反之则越小。**

如果上式比较简单，我们可以用仅有的中学知识就写出它的导数：

= 1 N ∑ ∂ ∂ ω ( y ^ − y ) = 1 N ∑ 2 ( x ω − y ) = \\frac\{1\}\{N\} \\sum \\frac\{\\partial\}\{\\partial \\omega\} (\\hat y - y) = \\frac\{1\}\{N\} \\sum 2(x \\omega -y) =N1∑∂ω∂(y^−y)=N1∑2(xω−y)

如果一个函数式特别复杂，包含多个内函数和变量，那么有可能我们无法这么直观的可以推到出它关于其权重  ω \\omega ω 的导数。所以就必须要依靠导数的链式法则来逐个求解。

> **链式法则 （Chain Rule）**  
> 对于复合函数 g(f(x))来说，它可以被表示成  y = g ( u ) ⊙ u ( x ) y = g(u) \\odot u(x) y=g(u)⊙u(x) 。需要注意的是， ⊙ \\odot ⊙表示的不是乘积关系，而是函数包含的关系。所以如果求上式的导数，即 y ′ y' y′，它就会表示为：
> 
>  y ′ = y u ′ ⋅ u x ′ = ∂ y ∂ u ⋅ ∂ u ∂ x y' = y\_u' \\cdot u\_x' = \\frac\{\\partial y\}\{\\partial u\} \\cdot \\frac\{\\partial u\}\{ \\partial x\} y′=yu′⋅ux′=∂u∂y⋅∂x∂u

如果我们无法求解导数，那么就无法优化输入权重。所以，必须依赖反向传播也就是基于导数链式法则的原理，去获得目标导数，即：

∂ ∂ ω L o s s = ∂ L o s s ∂ H 1 ∂ H 1 ∂ ω \\frac\{\\partial\}\{\\partial \\omega\} Loss = \\frac\{\\partial Loss\}\{\\partial H\_1\} \\frac\{\\partial H\_1\}\{\\partial \\omega\} ∂ω∂Loss=∂H1∂Loss∂ω∂H1

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 5]  
那么对于我们先前提出的例子，我们应该分别执行以下导数运算

*   L o s s = 1 / N ∑ ( H 1 − y ) 2 Loss = 1/N \\sum (H\_1 - y)^2 Loss=1/N∑(H1−y)2
 *   H 1 = ω × x H\_1 = \\omega \\times x H1=ω×x

所以，当Loss激活了反向传播后

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 6]  
我们得到了  
 ∂ ∂ H 1 L o s s = 1 / N ∑ 2 ( H 1 − y ) \\frac\{\\partial\}\{\\partial H\_1\}Loss = 1/N \\sum 2 (H\_1 - y) ∂H1∂Loss=1/N∑2(H1−y)

传播返回到  H 1 H\_1 H1层，也就是隐藏层，此时得到的结果是：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 7]  
 ∂ ∂ ω H 1 = 1 \\frac\{\\partial\}\{\\partial \\omega\} H\_1 = 1 ∂ω∂H1=1

我们再根据先前提到的链式法则，以及各层的函数式，完善一下结果，发现和我们上面计算的结果一模一样。

∂ L o s s ∂ ω = 1 N ∑ 2 ( x ω − y ) \\frac\{\\partial Loss\}\{\\partial \\omega\} = \\frac\{1\}\{N\} \\sum 2(x \\omega -y) ∂ω∂Loss=N1∑2(xω−y)

我们得到了关于线性模型的关于损失函数的导数，于是我们可以开始更新参数了。

# 参数更新 #

这里，我把权重  ω \\omega ω 改称为参数。因为对于我们的网络来说， ω \\omega ω 是作为网络的输入，而 L o s s Loss Loss 是作为网络的输出与反馈，所以对于网络来说， ω \\omega ω 实际上是参数。

在上面的部分，我们已经通过了反向传播，得到了关于模型的损失梯度，现在我们就需要来研究一下以下计算模型中最后一步，也就是如何更新参数。

Created with Raphaël 2.3.0Start计算参数符合期望？End更新参数yesno

在我前面的章节里，我已经实现了一个梯度下降的算法，虽然没用到数学的概念，而是通过对参数附近的梯度进行比较，确定更新。但是我们还是需要更为数学的方法来讨论这个过程。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 8]  
首先有斜率（实际上也是梯度）公式我们可以得知：

d y d ω = f ( ω + Δ ω ) − f ( ω ) Δ ω \\frac\{dy\}\{d \\omega\} = \\frac\{f(\\omega + \\Delta \\omega) - f(\\omega)\}\{\\Delta \\omega\} dωdy=Δωf(ω\+Δω)−f(ω)

如果  f ( ω + Δ ω ) > f ( ω ) f(\\omega + \\Delta \\omega) > f(\\omega) f(ω\+Δω)>f(ω)， 如果我们令新的  ω = ω + Δ ω \\omega = \\omega + \\Delta \\omega ω=ω\+Δω，那么毫无疑问对于以上情况，最终是梯度上升的，所以我们应该反过来，令

ω ∗ = ω − Δ ω \\omega \* = \\omega - \\Delta \\omega ω∗=ω−Δω

于是上式就被改写成为：

d y d ω = f ( ω ) − f ( ω − Δ ω ) Δ ω \\frac\{dy\}\{d \\omega\} = \\frac\{f(\\omega) - f(\\omega - \\Delta \\omega) \}\{\\Delta \\omega\} dωdy=Δωf(ω)−f(ω−Δω)

因为  d y d ω \\frac\{dy\}\{d \\omega\} dωdy 其实就是  ∂ L o s s ∂ ω \\frac\{\\partial Loss\}\{\\partial \\omega\} ∂ω∂Loss 的差分形式， ω ∗ \\omega \* ω∗ 是更新后的参数， Δ \\Delta Δ 是更新学习率，通常是一个小于1大于0的数。而 f ( ω ) = x ω f(\\omega) = x \\omega f(ω)=xω，于是我们得到更新公式：

ω ∗ = ω − Δ x ∂ L o s s ∂ ω \\omega \* = \\omega - \\frac\{\\Delta\}\{x\} \\frac\{\\partial Loss\}\{\\partial \\omega\} ω∗=ω−xΔ∂ω∂Loss

再把Loss的导数代入后，就得到了

ω ∗ = ω − Δ 1 N ∑ i = 1 n 2 ( ω − y i ) \\omega \* = \\omega - \\Delta \\frac\{1\}\{N\} \\sum\_\{i=1\}^\{n\} 2(\\omega -y\_i) ω∗=ω−ΔN1i=1∑n2(ω−yi)

然后循环往复，于是就可以求解出目标参数了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center]: /images/20221005/180a04efbb0449b595dcf136647c2798.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221005/052e633267164fb79eda8ed03609d9ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221005/1ca54502c3844286af224f2ecbf62178.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221005/323cf1588fce4d4a8a17fe435781d347.png
[1.]: https://blog.csdn.net/poisonchry/article/details/116401539?spm=1001.2014.3001.5502
[2.]: https://blog.csdn.net/poisonchry/article/details/117419033?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221005/b8046ef27115431dab14a58de45a23d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221005/7f651f85950a43518feef7ba84d496e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221005/db9675372dae4a1da5d9c7fd64c46765.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221005/ef9f01b9390a4f479629a4e2b3a789d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BvaXNvbmNocnk_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221005/0b19d7819db74d4ba31cf0a89a87a096.png