PyTorch深度学习入门深度学习基础 2.6 反向传播

你的名字 2024-03-22 13:15 12阅读 0赞

#### PyTorch深度学习入门 ####

#### 文章目录 ####

*   *   *  PyTorch深度学习入门
         *   *  深度学习基础
             *  2.6 反向传播
             *   *  1. 总体观
                 *  2. 逐层观

![在这里插入图片描述][0bcd339b2a034314bddc12731457e012.png_pic_center]

##### 深度学习基础 #####

##### 2.6 反向传播 #####

反向传播算法【BP算法】，是深度神经网络取得成功的奠基石。

如今，反向传播是深度神经网络最重要的训练方法。

其实之前我们已经用过很多次了

![在这里插入图片描述][0b8cf4ea0b5f4be5b90f1c7afd34827b.png_pic_center]

整个反向传播过程就在这一行代码中：

loss.backward()

简单地说， 反向传播算法就是带有链式法则的梯度下降法，其目的是求出损失函数L 对每一层权重的梯度值  ∂ L ∂ w \\frac\{\\partial L\}\{\\partial w\} ∂w∂L ，利用这个梯度值，我们就可以对各层的权重进行迭代更新。

###### 1. 总体观 ######

举个栗子：隐含层的层数为1 的神经网络的前向传播及反向传播的过程。

![在这里插入图片描述][685c72725a9a47bf94316d36597aea8c.png_pic_center]

如上图所示, 我们的前向传播过程为: 输人  z ⃗ 1 \\vec\{z\}^1 z1, 经过隐含层得到  z ⃗ 2 \\vec\{z\}^2 z2, 再经过输出层得到  z ⃗ 3 \\vec\{z\}^3 z3, 经过损失函数得到损失值  z 4 z^4 z4 。

接着进行反向传播, 为了方便计算和推导, 我们定义  δ ⃗ \\vec\{\\delta\} δ 变量, 暂时不去 考虑  δ ⃗ \\vec\{\\delta\} δ 代表什么。

我们可以用一种抽象的方式去审视反向传播的过程，如下图所示。

这个过程首先 将  δ 4 = d L d L = 1 \\delta^4=\\frac\{\\mathrm\{d\} L\}\{\\mathrm\{~d\} L\}=1 δ4=dLdL=1 作为输入, 然后由  δ 4 \\delta^4 δ4 反向传播至第 3 层各节点得到  δ ⃗ 3 \\vec\{\\delta\}^3 δ3 。

δ ⃗ 3 \\vec\{\\delta\}^3 δ3 反向传播经过第 2 层各节点 得到  δ ⃗ 2 \\vec\{\\delta\}^2 δ2, 利用  z ⃗ 3 、 δ ⃗ 3 \\vec\{z\}^3 、 \\vec\{\\delta\}^3 z3、δ3 及第 2 层到第 3 层之间的权重矩阵  W ( 2 , 3 ) \\boldsymbol\{W\}^\{(2,3)\} W(2,3) 求得梯度值  ∂ L ∂ W ( 2 , 3 ) \\frac\{\\partial L\}\{\\partial W^\{(2,3)\}\} ∂W(2,3)∂L 。

接着,  δ ⃗ 2 \\vec\{\\delta\}^2 δ2 继续反向传播得到  δ ⃗ 1 \\vec\{\\delta\}^1 δ1, 我们利用  z ⃗ 2 、 δ ⃗ 2 \\vec\{z\}^2 、 \\vec\{\\delta\}^2 z2、δ2 及第 1 层到第 2 层之间的权重矩阵  W ( 1 , 2 ) \\boldsymbol\{W\}^\{(1,2)\} W(1,2) 可以求得梯度值  ∂ L ∂ W ( 1 , 2 ) \\frac\{\\partial L\}\{\\partial W^\{(1,2)\}\} ∂W(1,2)∂L 。

![在这里插入图片描述][e97583aac860483db069492def4856e3.png_pic_center]

###### 2. 逐层观 ######

之前我们已经看到了反向传播的总体过程。

![在这里插入图片描述][1092dda5ec9d485ca171ead19d7e55e3.png_pic_center]

这里将神经网络的第 l l l 层作为代表进行观察，

![在这里插入图片描述][86ab39697290484a92acdbe5c7aef5dd.png_pic_center]

第  l l l 层的输人是  z ⃗ l \\vec\{z\}^l zl, 设第  l l l 层到第  l + 1 l+1 l\+1 层之间的权重矩阵为  W ( l , l + 1 ) \\boldsymbol\{W\}^\{(l, l+1)\} W(l,l\+1), 于是可以将数据经过该层的变换看作函数  f l f^l fl 的运算。

前向传播的数学表达式：  
 z ⃗ l + 1 = f l ( z ⃗ l , W ( l , l + 1 ) ) \\vec\{z\}^\{l+1\}=f^l\\left(\\vec\{z\}^l, W^\{(l, l+1)\}\\right) zl\+1=fl(zl,W(l,l\+1))

为了方便描述反向传播的过程，我们定义  δ j l \\delta\_j^l δjl, 数学表达如下:  
 δ j l = ∂ L ∂ z j l \\delta\_j^l=\\frac\{\\partial L\}\{\\partial z\_j^l\} δjl=∂zjl∂L

根据微积分的链式法则, 可以得到:

δ j l = ∂ L ∂ z j l = ∑ k ∂ L ∂ z k l + 1 ⋅ ∂ z k l + 1 ∂ z j l = ∑ k δ k l + 1 ∂ z k l + 1 ∂ z j l \\delta\_j^l=\\frac\{\\partial L\}\{\\partial z\_j^l\}=\\sum\_k \\frac\{\\partial L\}\{\\partial z\_k^\{l+1\}\} \\cdot \\frac\{\\partial z\_k^\{l+1\}\}\{\\partial z\_j^l\}=\\sum\_k \\delta\_k^\{l+1\} \\frac\{\\partial z\_k^\{l+1\}\}\{\\partial z\_j^l\} δjl=∂zjl∂L=k∑∂zkl\+1∂L⋅∂zjl∂zkl\+1=k∑δkl\+1∂zjl∂zkl\+1

这个公式表明  δ ⃗ l \\vec\{\\delta\}^l δl 可以由  δ ⃗ l + 1 、 z ⃗ l + 1 \\vec\{\\delta\}^\{l+1\} 、 \\vec\{z\}^\{l+1\} δl\+1、zl\+1 和  z ⃗ l \\vec\{z\}^l zl 求出。为了更新权重, 需要计算出损失函数关于神经网络内每个权重的梯度, 损失函数关于第  l l l 层到第  l + 1 l+1 l\+1 层之间权重矩阵  W ( l , l + 1 ) \\boldsymbol\{W\}^\{(l, l+1)\} W(l,l\+1) 的梯度为:  
 ∂ L ∂ W ( l , l + 1 ) = ∑ j ∂ L ∂ z j l + 1 ∂ z j l + 1 ∂ W ( l , l + 1 ) = ∑ j δ j l + 1 ∂ z j l + 1 ∂ W ( l , l + 1 ) \\frac\{\\partial L\}\{\\partial W^\{(l, l+1)\}\}=\\sum\_j \\frac\{\\partial L\}\{\\partial z\_j^\{l+1\}\} \\frac\{\\partial z\_j^\{l+1\}\}\{\\partial W^\{(l, l+1)\}\}=\\sum\_j \\delta\_j^\{l+1\} \\frac\{\\partial z\_j^\{l+1\}\}\{\\partial W^\{(l, l+1)\}\} ∂W(l,l\+1)∂L=j∑∂zjl\+1∂L∂W(l,l\+1)∂zjl\+1=j∑δjl\+1∂W(l,l\+1)∂zjl\+1

这个公式又表明  ∂ L ∂ W ( l , l + 1 ) \\frac\{\\partial L\}\{\\partial W^\{(l, l+1)\}\} ∂W(l,l\+1)∂L 可以由  δ ⃗ l + 1 、 z ⃗ l + 1 \\vec\{\\delta\}^\{l+1\} 、 \\vec\{z\}^\{l+1\} δl\+1、zl\+1 和  W ( l , l + 1 ) W^\{(l, l+1)\} W(l,l\+1) 求出。

因此, 反向传播算法是首先进行前向传播, 计算出各层的  z ⃗ \\vec\{z\} z 。接着进行反向传播, 利用前向传播中求出的  z ⃗ \\vec\{z\} z 算出各层的  δ ⃗ \\vec\{\\delta\} δ, 并计算出各层的梯度  ∂ L ∂ W \\frac\{\\partial L\}\{\\partial W\} ∂W∂L, 最后利用梯度下降法更新各层权重。

[0bcd339b2a034314bddc12731457e012.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/862edb6b0b33499abfbd44a3b15d1754.png
[0b8cf4ea0b5f4be5b90f1c7afd34827b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/876fa3d9db884f499c4d4cdef73eeca2.png
[685c72725a9a47bf94316d36597aea8c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/9a05736f395141499a200608e1b54dec.png
[e97583aac860483db069492def4856e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/4be6085b2f8144c29ab137a3fad76a4d.png
[1092dda5ec9d485ca171ead19d7e55e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e03fb001421c4391bb8a9f87fb4aa8e1.png
[86ab39697290484a92acdbe5c7aef5dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/ff2aafffc4794e4eb802329a6a17f730.png