使用泰勒展开解释梯度下降方法参数更新过程

梦里梦外; 2023-01-07 10:30 167阅读 0赞

泰勒公式：

![20210117162321285.png][]

一阶泰勒展开：

![2021011716240080.png][]

梯度下降是逐步迭代，损失函数逐步降低的过程：

![20210117162742597.png][]

![20210117163047497.png][]

为了满足上述不等式条件，取![20210117163120101.png][] ，则上式变为：

![20210117163235574.png][]

因为![20210117163253295.png][]是步长，![20210117163324395.png][]，所以上述不等式成立。 从而得出梯度下降的参数更新公式：

![20210117163605730.png][]

[20210117162321285.png]: /images/20221119/57f9e7538407460f8124a36488b19620.png
[2021011716240080.png]: /images/20221119/aae13b89420b4ae2b8be9b581268e3c3.png
[20210117162742597.png]: /images/20221119/ab820a6671ed47c8919ba6ee9237fd12.png
[20210117163047497.png]: /images/20221119/bd55d3cae37b41d7ac4fe850d3ae10b8.png
[20210117163120101.png]: /images/20221119/e8de36385524453aaf3c70bcbcdfe0af.png
[20210117163235574.png]: /images/20221119/e02760dba0534391b6cb66efe106ccd2.png
[20210117163253295.png]: https://img-blog.csdnimg.cn/20210117163253295.png
[20210117163324395.png]: /images/20221119/fecc8d694be14800a7478ea977b14677.png
[20210117163605730.png]: /images/20221119/4da29f3ac9be4e3ab26065f0b31e8e5f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 13. 微积分 - 牛顿-莱布尼兹公式、泰勒展开

![茶桁的AI秘籍 Math - 13][AI_ Math - 13] 文章目录牛顿-莱布尼兹公式牛顿-莱布尼兹公式的意义

刺骨的言语ヽ痛彻心扉/ 2024年03月26日 23:17/ 0 赞/ 30 阅读

相关梯度下降

1.批量梯度下降 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubm

深藏阁楼爱情的钟/ 2023年02月10日 03:37/ 0 赞/ 107 阅读

相关已知自然常数e的泰勒展开式是_泰勒级数，泰勒公式，泰勒展开式

泰勒级数：只要一个函数无穷光滑，那么泰勒级数就存在，但是不一定收敛，而且即使收敛，也不一定收敛于原函数。泰勒公式：就是会有余项，多用在极限计算和中值定理，应用的条件只要函数

深碍√TFBOYSˉ_/ 2023年01月07日 15:28/ 0 赞/ 145 阅读

相关使用泰勒展开解释梯度下降方法参数更新过程

泰勒公式： ![20210117162321285.png][] 一阶泰勒展开： ![2021011716240080.png][] 梯度下降是逐步迭代，损失函数逐步

梦里梦外;/ 2023年01月07日 10:30/ 0 赞/ 168 阅读

相关常用泰勒展开式

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

朴灿烈づ我的快乐病毒、/ 2022年11月19日 04:02/ 0 赞/ 157 阅读

相关梯度下降法通俗解释

请看如下博客： [http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic\_in\_machine\_

忘是亡心i/ 2022年08月01日 11:27/ 0 赞/ 162 阅读

相关梯度下降

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的

偏执的太偏执、/ 2022年05月22日 04:09/ 0 赞/ 238 阅读

相关梯度下降，随机梯度下降

[梯度下降（Gradient Descent）完整篇][Gradient Descent]转载在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient

墨蓝/ 2022年05月19日 23:47/ 0 赞/ 304 阅读

相关泰勒公式推导及多元泰勒展开式

原文转自：[https://blog.csdn.net/weixin\_40100502/article/details/80531027][https_blog.csdn.n

柔光的暖阳◎/ 2022年05月13日 22:27/ 0 赞/ 1024 阅读

相关泰勒展开

泰勒展开的形式泰勒公式是将一个在 x = x 0 x=x\_0 x=x0处具有n阶导数的函数 f ( x ) f(x) f(x)利用关于 ( x − x 0 ) (x

àì夳堔傛蜴生んèń/ 2022年04月05日 08:56/ 0 赞/ 202 阅读