梯度下降和反向传播的理解

﹏ヽ暗。殇╰゛Y 2022-11-28 03:49 137阅读 0赞

其实我们最终的目标，是为了得到一组权值值，使得损失函数的输出达到最小值，即求损失函数最小值，

求损失函数最小值，可以有：

1.  **直接通过求它的解析解(最小二乘法，腾讯课堂视频有讲解)**
2.  **梯度下降法**

这次我们只讲 梯度下降法，因为解析法 对于高纬度 函数 基本无解，简单的倒还是可以，见腾讯课堂视频

神经网络靠反向传播更新权重W 才能使得 我的 模型越来越逼近我想要的模型，

而这个过程，因为梯度下降是[函数值下降最快的方向][Link 1]，因此，

[激活函数、损失函数、优化函数都分别是什么？有什么作用？][Link 2]

（ML常用的除了梯度下降还有牛顿方法，核方法，求逆，MS算法(胶囊网络号称没用梯度下降，就是用了这个的变体)。）

## **[1.什么是梯度下降法][1.]** ##

绝大部分的机器学习算法最后都是最优化一个目标函数，而梯度下降算法是寻找一个函数局部最优解的有效方法。

顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步…

![format_png][]

以上那个图是 二元的目标函数，即，只有X,Y两个变量（权值W），Z是损失值的目标函数，找到目标函数的最低点，就找到的损失值最低的权值是多少。

扩展阅读：

[https://zhuanlan.zhihu.com/p/31167453][https_zhuanlan.zhihu.com_p_31167453]

[https://zhuanlan.zhihu.com/p/25355758][https_zhuanlan.zhihu.com_p_25355758]

[https://zhuanlan.zhihu.com/p/72040692][https_zhuanlan.zhihu.com_p_72040692]

[Link 1]: http://https//zhuanlan.zhihu.com/p/72040692
[Link 2]: https://blog.csdn.net/u013250416/article/details/81392161
[1.]: https://www.cnblogs.com/softzrp/p/6718909.html
[format_png]: /images/20221124/ea9052561e924662b175053f870c9da4.png
[https_zhuanlan.zhihu.com_p_31167453]: https://zhuanlan.zhihu.com/p/31167453
[https_zhuanlan.zhihu.com_p_25355758]: https://zhuanlan.zhihu.com/p/25355758
[https_zhuanlan.zhihu.com_p_72040692]: https://zhuanlan.zhihu.com/p/72040692

发表评论取消回复

表情：

评论列表（有 0 条评论，137人围观）

还没有评论，来说两句吧...

相关阅读

相关梯度下降、反向传播

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

迈不过友情╰/ 2023年07月03日 12:22/ 0 赞/ 3 阅读

相关反向传播之梯度更新

关于梯度的概念梯度是微积分中一个很重要的概念，之前提到过梯度的意义在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率在

我会带着你远行/ 2023年01月17日 06:20/ 0 赞/ 212 阅读

相关 AI入门：反向传播和梯度下降

上一节中提到，分类函数是神经网络正向传播的最后一层。但是如果要进行训练，我们只有预测结果是不够的，我们需要拿预测结果跟真实值进行对比，根据对比结果判断我们的神经网络是不是够好。

小鱼儿/ 2022年12月27日 09:21/ 0 赞/ 123 阅读

相关深度学习的正、反向传播与梯度下降的实例

采用3层的全连接网络，首先正向传播一次并计算误差，之后反向传播一次更新参数，最后再次正向传播并计算误差全连接网络的具体结构如下： ![watermark_type_ZmF

Myth丶恋晨/ 2022年12月23日 06:26/ 0 赞/ 156 阅读

相关梯度下降和反向传播的理解

其实我们最终的目标，是为了得到一组权值值，使得损失函数的输出达到最小值，即求损失函数最小值，求损失函数最小值，可以有： 1. 直接通过求它的解析解(最小二乘法，腾讯课堂

﹏ヽ暗。殇╰゛Y/ 2022年11月28日 03:49/ 0 赞/ 138 阅读

相关梯度和梯度下降

文章目录导读方向导数和梯度梯度下降是什么为什么选择梯度下降随机梯度下降问题提出分析过程

柔光的暖阳◎/ 2022年11月28日 00:21/ 0 赞/ 303 阅读

相关知识卡片反向传播中的梯度

![format_png][] 前言：本文介绍神经网络中通过反向传播计算梯度的原理，并通过代码演示计算正向和反向传播中的矩阵相乘得出梯度。反向传播中的梯度反向传播(b

亦凉/ 2022年11月27日 01:52/ 0 赞/ 185 阅读

相关梯度下降，随机梯度下降

[梯度下降（Gradient Descent）完整篇][Gradient Descent]转载在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient

墨蓝/ 2022年05月19日 23:47/ 0 赞/ 331 阅读

相关神经网络和反向传播算法——反向传播算法本质上是随机梯度下降，链式求导法则而来的...

原文：https://www.zybuluo.com/hanbingtao/note/476663 写得非常好，适合入门！神经元神经元和感知器本质上是一样的，只不

悠悠/ 2022年03月30日 15:44/ 0 赞/ 182 阅读

相关反向传播梯度的计算

1. 适用pytorch中Variable()函数中的backward()自动计算梯度 2. 手动实现梯度计算（缺点：计算网络复杂时容易出错，难以检查） --

悠悠/ 2021年12月22日 14:15/ 0 赞/ 303 阅读