神经网络常见的求导！

清疚 2022-11-07 11:51 160阅读 0赞

> 点击“**机器学习与生成对抗网络**”，关注星标  
> 
> 
> 获取有趣、好玩的前沿干货！

作者：Criss

地址：https://www.meltycriss.com/2018/03/31/summary-derivative/

**01**

**derivative of softmax**

**1.1 derivative of softmax**

一般来说，分类模型的最后一层都是softmax层，假设我们有一个  分类问题，那对应的softmax层结构如下图所示（一般认为输出的结果  即为输入  属于第i类的概率）：

![ae9b2f2cac029ad39437e4d9e16bab82.png][]

假设给定训练集  ，分类模型的**目标是最大化对数似然函数  **，即

通常来说，我们采取的优化方法都是gradient based的（e.g., SGD），也就是说，需要求解  。而我们只要求得  ，之后根据链式法则，就可以求得  ，因此我们的核心在于求解  ，即

由上式可知，我们只需要知道各个样本  的  ，即可通过求和求得  ，进而通过链式法则求得  。因此下面**省略样本下标j，仅讨论某个样本  **。

实际上对于如何表示  属于第几个类，有两种比较直观的方法：

*  一种是**直接法**（i.e., 用  来表示x属于第3类），则  ，其中  为指示函数；
 *  另一种是one-hot法（i.e., 用  来表示x属于第三类），则  ，其中  为向量  的第  个元素。
 *  p.s., 也可以将one-hot法理解为直接法的**实现形式**，因为one-hot向量实际上就是  。

为了方便，**本文采用one-hot法**。于是，我们有：

**1.2 softmax & sigmoid**

再补充一下softmax与sigmoid的联系。当分类问题是二分类的时候，我们一般使用sigmoid function作为输出层，表示输入  属于第1类的概率，即

然后利用概率和为1来求解  属于第2类的概率，即

乍一看会觉得用sigmoid做二分类跟用softmax做二分类不一样：

*  在用softmax时，**output的维数**跟类的数量一致，而用sigmoid时，output的维数比类的数量少；
 *  在用softmax时，各类的**概率表达式**跟sigmoid中的表达式不相同。

但实际上，**用sigmoid做二分类跟用softmax做二分类是等价的。**我们可以让sigmoid的output维数跟类的数量一致，并且在形式上逼近softmax。

通过上述变化，sigmoid跟softmax已经很相似了，只不过sigmoid的input的第二个元素恒等于0（i.e., intput为  ），而softmax的input为  ，下面就来说明这两者存在一个mapping的关系（i.e., 每一个  都可以找到一个对应的  来表示相同的softmax结果。不过值得注意的是，反过来并不成立，也就是说并不是每个  仅仅对应一个  ）。

因此，用sigmoid做二分类跟用softmax做二分类是等价的。

**02**

**backpropagation**

一般来说，在train一个神经网络时（i.e., 更新网络的参数），我们都需要loss function对各参数的gradient，backpropagation就是求解gradient的一种方法。

![2fece680adebd7ce45c9336566106a08.png][]

假设我们有一个如上图所示的神经网络，我们想求损失函数  对  的gradient，那么根据链式法则，我们有

而我们可以很容易得到上述式子右边的第二项，因为  ，所以有

其中，  是上层的输出。

而对于式子右边的的第一项，可以进一步拆分得到

我们很容易得到上式右边第二项，因为  ，而激活函数  （e.g., sigmoid function）是我们自己定义的，所以有

，

其中，  是本层的线性输出（未经激活函数）。

![59254ee72a508c344bf3240f9c79c244.png][]

观察上图，我们根据链式法则可以得到

其中，根据  可知

和  的值是已知的，因此，我们离目标  仅差  和  了。接下来我们采用动态规划（或者说递归）的思路，假设下一层的  和  是已知的，那么我们只需要最后一层的graident，就可以求得各层的gradient了。而通过softmax的例子，我们知道最后一层的gradient确实可求，因此只要从最后一层开始，逐层向前，即可求得各层gradient。

因此我们求  的过程实际上对应下图所示的神经网络**（****原神经网络的反向神经网络）**：

![e06ec0f95202170998c25deddf9ec73d.png][]

综上，我们先通过神经网络的正向计算，得到  以及  ，进而求得  和  ；然后通过神经网络的反向计算，得到  和  ，进而求得  ；然后根据链式法则求得  。这整个过程就叫做backpropagation，其中正向计算的过程叫做forward pass，反向计算的过程叫做backward pass。

**03**

**derivative of CNN**

卷积层实际上是特殊的全连接层，只不过：

神经元中的某些  为  ；

神经元之间共享  。

具体来说，如下图所示，没有连线的表示对应的w为0：

![2580843f061e6da259b85d2eb5f91f1f.png][]

如下图所示，相同颜色的代表相同的  ：

![0a5d941d2f62099c9dff548eec4bdd8c.png][]

因此，我们可以把loss function理解为  ，然后求导的时候，根据链式法则，将相同w的gradient加起来就好了，即

在求各个  时，可以把他们看成是相互独立的  ，那这样就跟普通的全连接层一样了，因此也就可以用backpropagation来求。

**04**

**derivative of RNN**

RNN按照时序展开之后如下图所示（红线表示了求gradient的路线）：

![5ff139824b5b4b17ca91788f91e1e13b.png][]

跟处理卷积层的思路一样，首先将loss function理解为  ，然后把各个w看成相互独立，最后根据链式法则求得对应的gradient，即

由于这里是将RNN按照时序展开成为一个神经网络，所以这种求gradient的方法叫Backpropagation Through Time(BPTT)。

**05**

**derivative of max pooling**

一般来说，函数  是不可导的，但**假如我们已经知道哪个自变量会是最大值，那么该函数就是可导的**（e.g., 假如知道y是最大的，那对y的偏导为1，对其他自变量的偏导为0）。

而在train一个神经网络的时候，我们会先进行forward pass，之后再进行backward pass，因此我们在对max pooling求导的时候，已经知道哪个自变量是最大的，于是也就能够给出对应的gradient了。

###     ###

**06**

**references**

http://speech.ee.ntu.edu.tw/~tlkagk/courses\_ML17\_2.html

http://www.wildml.com/2015/10/recurrent-neural-networks-tutorial-part-3-backpropagation-through-time-and-vanishing-gradients/

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

**猜您喜欢：**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![bc58913949b134c75e31f2c7cddb1969.png][]

[ae9b2f2cac029ad39437e4d9e16bab82.png]: /images/20221023/004dd21136d246c4a30adb36bc04f2e5.png
[2fece680adebd7ce45c9336566106a08.png]: /images/20221023/fae8bacb75574057bbde02174e7fb6c8.png
[59254ee72a508c344bf3240f9c79c244.png]: /images/20221023/d87acf15bef240ba9ba221d6d9f54a19.png
[e06ec0f95202170998c25deddf9ec73d.png]: /images/20221023/f822fe84f22344508047a4d8049851e7.png
[2580843f061e6da259b85d2eb5f91f1f.png]: /images/20221023/e8bc96b133ab4df1817086177ffe936c.png
[0a5d941d2f62099c9dff548eec4bdd8c.png]: /images/20221023/33d0764508624252975975a8a98d94be.png
[5ff139824b5b4b17ca91788f91e1e13b.png]: /images/20221023/cd3ff90999574149bd1ea491c4ee2b98.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[bc58913949b134c75e31f2c7cddb1969.png]: /images/20221023/e9f96ce3e26d4e50bcbe18b82e837b99.png