梯度下降算法详解

一时失言乱红尘 2023-07-17 05:59 6阅读 0赞

## 梯度下降算法详解 ##

### 介绍 ###

如果说在机器学习领域有哪个优化算法最广为认知，用途最广，非梯度下降算法莫属。梯度下降算法是一种非常经典的求极小值的算法，比如在线性回归里我们可以用最小二乘法去解析最优解，但是其中会涉及到对矩阵求逆，由于多重共线性问题的存在是很让人难受的，无论进行L1正则化的Lasso回归还是L2正则化的岭回归，其实并不让人满意，因为它们的产生是为了修复此漏洞，而不是为了提升模型效果，甚至使模型效果下降。但是换一种思路，比如用梯度下降算法去优化线性回归的损失函数，完全就可以不用考虑多重共线性带来的问题。其实不仅是线性回归，逻辑回归同样是可以用梯度下降进行优化，因为这两个算法的损失函数都是严格意义上的凸函数，即存在全局唯一极小值，较小的学习率和足够的迭代次数，一定可以达到最小值附近，满足精度要求是完全没有问题的。并且随着特征数目的增多（列如100000），梯度下降的效率将远高于去解析标准方程的逆矩阵。神经网络中的后向传播算法其实就是在进行梯度下降，GDBT(梯度提升树)每增加一个弱学习器（CART回归树）,近似于进行一次梯度下降，因为每一棵回归树的目的都是去拟合此时损失函数的负梯度，这也可以说明为什么GDBT往往没XGBoost的效率高，因为它没办法拟合真正的负梯度，而Xgboost 的每增加的一个弱学习器是使得损失函数下降最快的解析解。总之梯度下降算法的用处十分广泛，我们有必要对它进行更加深入的理解。

### 关于梯度下降算法的直观理解 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70][]

关于梯度下降算法的直观理解，我们以一个人下山为例。比如刚开始的初始位置是在红色的山顶位置，那么现在的问题是该如何达到蓝色的山底呢？按照梯度下降算法的思想，它将按如下操作达到最低点：

第一步，明确自己现在所处的位置

第二步，找到相对于该位置而言下降最快的方向

第三步， 沿着第二步找到的方向走一小步，到达一个新的位置，此时的位置肯定比原来低

第四部， 回到第一步

第五步，终止于最低点

按照以上5步，最终达到最低点，这就是梯度下降的完整流程。当然你可能会说，上图不是有不同的路径吗？是的，因为上图并不是标准的凸函数，往往不能找到最小值，只能找到局部极小值。所以你可以用不同的初始位置进行梯度下降，来寻找更小的极小值点，当然如果损失函数是凸函数就没必要了，开开心心的进行梯度下降吧！比如下面这种：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 1][]

问题是，如何用数学语言去描述以上5步呢？

梯度下降算法的理论推导

一元函数

一元函数的导数我相信大家都学过，其几何意义是某点切线的斜率，除此之外它还能表示函数在该点的变化率，导数越大，说明函数在该点的变化越大。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 2][]

![20200319204345424.png][]

则导函数本身则代表着函数沿着ｘ方向的变化率

### 二元函数 ###

对于二元函数，ｚ＝ｆ（ｘ，ｙ），它对ｘ和ｙ的偏导数分别表示如下：

函数在ｙ方向不变的情况下，函数值沿ｘ方向的变化率

函数在ｘ方向不变的情况下，函数值沿ｙ方向的变化率

有了以上的了解，我们分别知道了函数在单独在ｘ和ｙ方向上的变化率

现在有一个问题，我想知道函数在其他方向上的变化率怎么办？

比如下图中的ｕ方向上：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 3][]

其实是可以做到的，我们都学过，在一平面中，任意一向量都可以用两个不共线的基向量表示，也就是说任意一方向上的变化，都可以分解到ｘ和ｙ两个方向上。

比如，我想求ｕ方向上的变化率，根据导函数的定义

若：

![20200319204413596.png][]

其中α是ｕ方向与ｘ正方向的夹角

极限存在，可用洛必达法则，分子分母同时对▲ｕ求导

原式等于：

![20200319204423890.png][]

令：

![20200319204431863.png][]

这是一个自变量是α的函数，我们将其命名为方向导数，其表明随着α的不同，方向不同，函数的变化率不同。

至此，我们推出了，方向导数的概念，还记得我们的梯度下降算法的第二步是什么吗？

”找到相对于该位置而言下降最快的方向“

而我们的方向导数，本身代表的就是函数变化率与方向的关系，也就是说我们需要利用方向导数，找到使得函数变化率最大的方向

那么，问题来了，在哪一个方向上变化率最大呢？

寻找函数变化率最大的方向－梯度

我们可以这样改写，令：

![20200319204444219.png][]

则：

![20200319204452358.png][]

θ是两个向量的夹角

显然，当θ＝０时，取得最大方向导数，也就说随着α的改变，当两个向量Ａ和Ｉ是平行的时候，取得最大方向导数，而此时Ｉ的方向就是下式的方向：

![20200319204503266.png][]

我们把上式称之为梯度，所以梯度方向是函数变化率最大的方向，更本质的说是函数增长最快的方向

所以，当我们需要最小化损失函数时，只需要使损失函数沿着负梯度前行，就能使损失函数最快下降。

### 更高元函数 ###

二元函数的推导结论同样可作用于更高元的函数。

所以，高元函数在某点的梯度就是对每一个自变量求偏导，组成的一个向量，在该点的取值，该向量的方向就是函数在该点处增长最快的方向，显然，其负方向就是函数减少最快的方向

以下面的函数举个例子，这是一个有n+1个自变量的函数，自变量是θ：

![20200319204520570.png][]

首先呢，随机化一个我们梯度下降的初始位置，全部为0吧，当然在神经网络中可不能如此随意：

![20200319204528460.png][]

计算梯度，对每一个自变量求偏导：

![20200319204537364.png][]

将初始化的值0，代入上式梯度，就可以得到一个具体的向量，为什么是一个具体的向量呢？这个你要自己想想了

而该向量的方向就是函数在该点增长最快的方向

那么，显然，我们需要往其负方向走一段距离，可是，如何往负方向走呢？其实一样的道理，该负方向同样将其分解到各个自变量的维度上，即其更新过程可写成：

![20200319204547143.png][]

式中的减号表示往梯度的负方向改变

а为学习率，是一个大于0的数，它能控制沿着该方向走多长一段距离，不是步长

### 什么才是真正的步长？ ###

一个式子说明足以，将当前位置θ代入下式，就是在该点处梯度下降的步长：

![20200319204603121.png][]

所以步长是一个有方向和模长的矢量，当然也是符合我们直观上的理解的，你总要确定往哪个方向走以及步子迈多大。

### 应用：线性回归的梯度下降解法 ###

首先，我们给出线性回归的损失函数，为了方便，不带正则项：

![20200319204614507.png][]

其中：

![20200319204621523.png][]

![20200319204629660.png][]

其更新过程可写成：

![20200319204638514.png][]

具体的梯度下降流程：

第一步：先随便假设一组θ,你要是喜欢可以全部取0

第二步循环迭代:

第一次迭代：

![20200319204648126.png][]

![20200319204654216.png][]

.......

![20200319204702172.png][]

第二次迭代：

![20200319204712479.png][]

![20200319204720689.png][]

......

![2020031920473167.png][]

......

第x次迭代：......

第三步，满足要求，循环结束，得到θ

### 转载地址 ###

[https://baijiahao.baidu.com/s?id=1639202882632470513&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1639202882632470513_wfr_spider_for_pc]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70]: /images/20230528/52faf7b22a0048dc85c598f5936b9d41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 1]: /images/20230528/21f59a717f5e406da696b5119a4c3bdd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 2]: /images/20230528/f66210742193427da6b263301f594ce9.png
[20200319204345424.png]: /images/20230528/5d32f4d49a044962946476e82529ac26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 3]: /images/20230528/2787069b122248b4b5c782af3a2374c9.png
[20200319204413596.png]: /images/20230528/d10a9cdcf20349658f7269cce1d78ef7.png
[20200319204423890.png]: /images/20230528/a887abf5ba10455d958e5e10e418e003.png
[20200319204431863.png]: /images/20230528/f4fa3438f3b344eea240ca96bc78a10d.png
[20200319204444219.png]: /images/20230528/5f9bb9ad249a4259ae0365f88739db0e.png
[20200319204452358.png]: /images/20230528/d3731a338f44444d887a35441da888d3.png
[20200319204503266.png]: /images/20230528/b4273e4760254429b7b6181edfe989fa.png
[20200319204520570.png]: /images/20230528/64cb5125685a40c1bf3a03e5aaa2252f.png
[20200319204528460.png]: /images/20230528/6fd9ac16ed0e45aeac69ef2f33aea33e.png
[20200319204537364.png]: /images/20230528/c8d9694aa4ea48e1b453efc3e9c0886c.png
[20200319204547143.png]: /images/20230528/b50028863e42461a9a847be784b42483.png
[20200319204603121.png]: /images/20230528/b804e67e8ab3440b85938088cd68fe6b.png
[20200319204614507.png]: /images/20230528/2095a71ccb3e4c0fb624bb7039cdc707.png
[20200319204621523.png]: /images/20230528/d59cf97e301640f39b1550439d289538.png
[20200319204629660.png]: /images/20230528/894744e9edc74c99882e5d2e806e79f0.png
[20200319204638514.png]: /images/20230528/3b0bf0bd6e21444fabd9209925e753cd.png
[20200319204648126.png]: /images/20230528/573fe56bd13c4f368a13cf1c7aeac108.png
[20200319204654216.png]: /images/20230528/ec1ee8a50ddf4c52af20b5deb351a896.png
[20200319204702172.png]: /images/20230528/2b4d2240ad7a4e21a67262450f66a8ae.png
[20200319204712479.png]: /images/20230528/0c35fd03f2944d5e91ed0100e20927ea.png
[20200319204720689.png]: /images/20230528/8253336837a649cba4b37a13f6efe05e.png
[2020031920473167.png]: /images/20230528/64f1238e8a5d435fa485443a4c2f071b.png
[https_baijiahao.baidu.com_s_id_1639202882632470513_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1639202882632470513&wfr=spider&for=pc