反向传播算法大揭秘

清疚 2022-05-14 12:41 269阅读 0赞

### 文章目录 ###

*  反向传播算法大揭秘
 *   *  符号说明
     *  反向传播的四个基本公式
     *  反向传播算法
     *  推导过程
     *   *  对于公式BP1的推导
         *  对于公式BP2的推导
         *  对于公式BP3的推导
         *  对于公式BP4的推导

# 反向传播算法大揭秘 #

注： 该篇博文是我阅读《[How the backpropagation algorithm works][]》一文的笔记，该博文详细介绍了反向传播算法，并给出了反向传播算法四个基本公式中的前两个证明，我顺着作者的思路证明了后面两个，并记录了证明过程，希望能帮助到需要了解反向传播算法数学原理的童鞋。

## 符号说明 ##

*   w j k l w^l\_\{jk\} wjkl表示 l − 1 l-1 l−1层的第 k k k个神经元到 l l l层的第 j j j个神经元连接的权重.
 *   b j l b^l\_j bjl表示 l l l层的第 j j j个神经元的偏置， a j l a^l\_j ajl表示 l l l层的第 j j j个神经元作用于激活函数以后的取值.
 *  对于 a j l a^l\_j ajl的计算，我们可以使用如下公式计算：KaTeX parse error: Expected group after '\_' at position 19: …\_j=\\sigma (\\sum\_̲\\limits\{k\}w^l\_\{…，其中， σ \\sigma σ表示的是激活函数，求和符号表示的是第 l − 1 l-1 l−1层的所有神经元与 l l l层第 j j j个神经元连接的加权和.
 *  上式使用矩阵表示则有： a l = σ ( w l a l − 1 + b l ) a^l = \\sigma (w^la^\{l-1\} + b^l) al=σ(wlal−1\+bl)，其中， w l w^l wl表示 l l l层的权重矩阵，矩阵的第 j j j行第 k k k列的元素为 w j k l w^l\_\{jk\} wjkl，类似的， b l b^l bl和 a l a^l al用列向量表示第 j j j层神经元的偏置和激活值.
 *  对于 z l = w l a l − 1 + b l z^l = w^la^\{l-1\} + b^l zl=wlal−1\+bl我们称之为 l l l层的加权输出.
 *  设推导反向传播过程中的代价函数为 C C C.
 *  我们使用 ⊙ \\odot ⊙表示两个矩阵对应元素的乘积，即 ( s ⊙ t ) i , j = s i , j ⋅ t i , j (s\\odot t)\_\{i,j\} = s\_\{i,j\} \\cdot t\_\{i,j\} (s⊙t)i,j=si,j⋅ti,j，称之为Hadamard乘积.

## 反向传播的四个基本公式 ##

反向传播过程中的四个基本公式：

(BP1) δ L = ∇ a C ⊙ σ ′ ( z L ) \\delta^L = \\nabla\_aC\\odot \\sigma&\#x27;(z^L) \\tag\{BP1\} δL=∇aC⊙σ′(zL)(BP1)

(BP2) δ l = ( ( w l + 1 ) T δ l + 1 ) ⊙ σ ′ ( z l ) \\delta^l = ((w^\{l+1\})^\\mathrm\{T\}\\delta^\{l+1\})\\odot\\sigma&\#x27;(z^l) \\tag\{BP2\} δl=((wl\+1)Tδl\+1)⊙σ′(zl)(BP2)

(BP3) ∂ C ∂ b j l = δ j l \\frac\{\\partial C\}\{\\partial b^l\_j\} = \\delta^l\_j \\tag\{BP3\} ∂bjl∂C=δjl(BP3)

(BP4) ∂ C ∂ w j k l = a k l − 1 δ j l \\frac\{\\partial C\}\{\\partial w^l\_\{jk\}\} = a^\{l-1\}\_k\\delta^l\_j \\tag\{BP4\} ∂wjkl∂C=akl−1δjl(BP4)

## 反向传播算法 ##

1.  输入 x x x：输入层的激活值 a 1 a^1 a1可以假定就是其输入 x x x
2.  前向传播：对于 l = 2 , 3 , ⋯ &ThinSpace; , L l=2,3,\\cdots,L l=2,3,⋯,L，依次通过 z l = w l a l − 1 + b l z^l = w^la^\{l-1\} + b^l zl=wlal−1\+bl和 a l = σ ( z l ) a^l = \\sigma(z^l) al=σ(zl)公式进行计算激活值
3.  计算最终输出误差 δ L \\delta^L δL：通过公式计BP1算误差向量
4.  反向误差传播：对于 l = L − 1 , L − 2 , ⋯ &ThinSpace; , 2 l=L-1, L-2, \\cdots, 2 l=L−1,L−2,⋯,2，使用公式分BP2别计算每层神经元对应的误差
5.  更新权重和增益：根据代价函数的梯度更新权重和增益，如公式BP3和BP4所示

## 推导过程 ##

下面我们来进行公式的推导

### 对于公式BP1的推导 ###

设最后一层 L L L的第 j j j个神经元的误差是

(1) δ j L = ∂ C ∂ z j L \\delta^L\_j = \\frac\{\\partial C\}\{\\partial z^L\_j\} \\tag\{1\} δjL=∂zjL∂C(1)

通过链式法则，我们可以得到

(2) δ j L = ∂ C ∂ a j L ∂ a j L ∂ z j L \\delta^L\_j = \\frac\{\\partial C\}\{\\partial a^L\_j\}\\frac\{\\partial a^L\_j\}\{\\partial z^L\_j\} \\tag\{2\} δjL=∂ajL∂C∂zjL∂ajL(2)

将 a j l = σ ( z j L ) a^l\_j=\\sigma(z^L\_j) ajl=σ(zjL)带入可得

(3) δ j L = ∂ C ∂ a j L σ ′ ( z j L ) \\delta^L\_j = \\frac\{\\partial C\}\{\\partial a^L\_j\}\\sigma&\#x27;(z^L\_j) \\tag\{3\} δjL=∂ajL∂Cσ′(zjL)(3)

公式BP1即是上式的矩阵形式

### 对于公式BP2的推导 ###

对于 l l l层的第 j j j个神经元，我们使用链式法则有：

(4) δ j l = ∂ C ∂ z j l = ∑ k ∂ C ∂ z k l + 1 ∂ z k l + 1 ∂ z j l = ∑ k ∂ z k l + 1 ∂ z j l δ k l + 1 \\delta^l\_j = \\frac\{\\partial C\}\{\\partial z^l\_j\} = \\sum\\limits\_k\\frac\{\\partial C\}\{\\partial z^\{l+1\}\_k\}\\frac\{\\partial z^\{l+1\}\_k\}\{\\partial z^l\_j\} = \\sum\\limits\_k\\frac\{\\partial z^\{l+1\}\_k\}\{\\partial z^l\_j\}\\delta^\{l+1\}\_k \\tag\{4\} δjl=∂zjl∂C=k∑∂zkl\+1∂C∂zjl∂zkl\+1=k∑∂zjl∂zkl\+1δkl\+1(4)

此外，我们有

(5) z k l + 1 = ∑ j w k j l + 1 a j l + b k l + 1 = ∑ j w k j l + 1 σ ( z j l ) + b k l + 1 z^\{l+1\}\_k = \\sum\\limits\_jw^\{l+1\}\_\{kj\}a^l\_j + b^\{l+1\}\_k = \\sum\\limits\_jw^\{l+1\}\_\{kj\}\\sigma(z^l\_j) + b^\{l+1\}\_k \\tag\{5\} zkl\+1=j∑wkjl\+1ajl\+bkl\+1=j∑wkjl\+1σ(zjl)\+bkl\+1(5)

对上式微分，得

(6) ∂ z k l + 1 ∂ z j l = w k j l + 1 σ ′ ( z j l ) \\frac\{\\partial z^\{l+1\}\_k\}\{\\partial z^l\_j\} = w^\{l+1\}\_\{kj\}\\sigma&\#x27;(z^l\_j) \\tag\{6\} ∂zjl∂zkl\+1=wkjl\+1σ′(zjl)(6)

带入公式4，可得

(7) δ j l = ∑ k w k j l + 1 δ k l + 1 σ ′ ( z j l ) \\delta^l\_j = \\sum\\limits\_kw^\{l+1\}\_\{kj\}\\delta^\{l+1\}\_k\\sigma&\#x27;(z^l\_j) \\tag\{7\} δjl=k∑wkjl\+1δkl\+1σ′(zjl)(7)

### 对于公式BP3的推导 ###

对于 l l l层的第 j j j个神经元，我们使用链式法则有：

(8) ∂ C ∂ b j L = ∂ C ∂ z j l ∂ z j l ∂ b j l \\frac\{\\partial C\}\{\\partial b^L\_j\} = \\frac\{\\partial C\}\{\\partial z^l\_j\}\\frac\{\\partial z^l\_j\}\{\\partial b^l\_j\} \\tag\{8\} ∂bjL∂C=∂zjl∂C∂bjl∂zjl(8)

由于 ∂ z k l ∂ b j l \\frac\{\\partial z^l\_k\}\{\\partial b^l\_j\} ∂bjl∂zkl恒等于1，所以有

(9) ∂ C ∂ b j L = ∂ C ∂ z j l = δ j l \\frac\{\\partial C\}\{\\partial b^L\_j\} = \\frac\{\\partial C\}\{\\partial z^l\_j\} = \\delta^l\_j \\tag\{9\} ∂bjL∂C=∂zjl∂C=δjl(9)

### 对于公式BP4的推导 ###

因为 z j l = ∑ k w j k l a k l − 1 + b j l + 1 z^\{l\}\_j = \\sum\\limits\_kw^\{l\}\_\{jk\}a^\{l-1\}\_k + b^\{l+1\}\_j zjl=k∑wjklakl−1\+bjl\+1，取导数有

(10) ∂ z j l ∂ w j k l = a k l − 1 \\frac\{\\partial z^l\_j\}\{\\partial w^\{l\}\_\{jk\}\} = a^\{l-1\}\_k \\tag\{10\} ∂wjkl∂zjl=akl−1(10)

对于 l  l l层的第 j  j j个神经元，我们使用链式法则有：

(11) ∂ C ∂ w j k l = ∂ C ∂ z j l ∂ z j l ∂ w j k l \\frac\{\\partial C\}\{\\partial w^l\_\{jk\}\} = \\frac\{\\partial C\}\{\\partial z^l\_\{j\}\} \\frac\{\\partial z^l\_\{j\}\}\{\\partial w^l\_\{jk\}\} \\tag\{11\} ∂wjkl∂C=∂zjl∂C∂wjkl∂zjl(11)

将 δ j l = ∂ C ∂ z j l \\delta^l\_j = \\frac\{\\partial C\}\{\\partial z^l\_j\} δjl=∂zjl∂C和 ∂ z j k l ∂ w j k l = a k l − 1 \\frac\{\\partial z^l\_\{jk\}\}\{\\partial w^l\_\{jk\}\} = a^\{l-1\}\_k ∂wjkl∂zjkl=akl−1带入公式11，得  
 (12) ∂ C ∂ w j k l = δ j l a k l − 1 \\frac\{\\partial C\}\{\\partial w^l\_\{jk\}\} = \\delta^l\_ja^\{l-1\}\_k \\tag\{12\} ∂wjkl∂C=δjlakl−1(12)

终于，推导完毕！

[How the backpropagation algorithm works]: http://neuralnetworksanddeeplearning.com/chap2.html