反向传播之梯度更新

我会带着你远行 2023-01-17 06:20 212阅读 0赞

## ##

### 关于梯度的概念 ###

梯度是微积分中一个很重要的概念，之前提到过梯度的意义

*  在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
 *  **在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。**

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。**梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向**，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！

[因此整个深度网络可以视为是一个复合的非线性多元函数。][Link 1]

2.3.2 **梯度要乘以一个负号**  
梯度前加一个负号，就意味着朝着梯度相反的方向前进！我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向**！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，**所以此处需要加上负号；那么如果时上坡，也就是梯度上升算法，当然就不需要添加负号了。  
[原文链接：https://blog.csdn.net/qq\_41800366/article/details/86583789][https_blog.csdn.net_qq_41800366_article_details_86583789]

### 梯度的更新 ###

[深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）][SGD_Adagrad_Adadelta_Adam_Adamax_Nadam]

[梯度grad公式\_梯度消失梯度爆炸-Gradient Clip][grad_-Gradient Clip]

**各种优化算法，其实就是对学习率的改变，有的是对学习率和上一次的梯度等综合考虑，来改变这一次的梯度的计算方法。**

# 2.**公式推导** #

[我看的这篇推到文章，例题的形式很清晰][Link 2]

[Link 1]: https://blog.csdn.net/songyufeishibyr/article/details/108680688
[https_blog.csdn.net_qq_41800366_article_details_86583789]: https://blog.csdn.net/qq_41800366/article/details/86583789
[SGD_Adagrad_Adadelta_Adam_Adamax_Nadam]: https://zhuanlan.zhihu.com/p/22252270
[grad_-Gradient Clip]: https://blog.csdn.net/weixin_39789499/article/details/111391688
[Link 2]: https://zhuanlan.zhihu.com/p/32819991