【台大李宏毅ML课程】Lecture 3 Gradient Descent笔记

小鱼儿 2022-05-31 05:57 188阅读 0赞

（感谢李宏毅老师，所有图片来自于老师的课件）

## Lecture 3 Gradient Descent ##

本讲主要讲了解决最优化问题用到的梯度下降的方法，以及对梯度下降法的一个改进，最后从泰勒级数的角度解释了梯度下降的数学原理。本讲从比较深的角度介绍梯度下降，讲的十分的好。

**1.Review：Gradient Descent**  
梯度下降法主要是为了求解凸优化问题（具体步骤可见Lecture 1）：  
![这里写图片描述][70]

**2.学习率/步长/learning rate/希腊字母yita**  
yita 是学习率，过大和过小都不合适，过小导致学习速率太慢，过大导致直接跳过最优点（本例中是最小值）  
![这里写图片描述][70 1]

**3.选取合适的learning rate**  
比如说一开始的初始点离最优点还比较远，可以让learning rate比较大，之后learning rate随着训练时间t的增加而不断变小，这样可以避免跳过了最小值点。  
![这里写图片描述][70 2]

还有一种方式是让learning rate根据参数不同而不同**（Adaptive Gradient Descent，AdaGrad）**

**4.Adaptive Gradient Descent（AdaGrad）**  
![这里写图片描述][70 3]

具体是这么操作的：  
![这里写图片描述][70 4]

其中g0，g1，g2……是每次对w求微分，要注意的是w0，w1，w2……这些其实都是参数向量，每一维都是一个参数，因此g对w的每一维求的是一个偏微分，每个参数的学习率都不一样。

**5.Grad和AdaGrad比较**  
Grad中，学习率是固定的，梯度越大，离最优点越远，每次移动的步长也越大；  
AdaGrad中，学习率是变化的，梯度越大，学习率越小，每次移动的步长也不一定变大。  
![这里写图片描述][70 5]  
那这样做的意义是什么呢……

**6.直观的原因Intuitive Reason**  
当梯度在某处出现剧烈变化时，学习率的分母除以一个均方根更加能够体现这个反差：  
![这里写图片描述][70 6]

**7.合理的解释**  
梯度（一次微分）越大，离最小值点就越远（所以步长就得越大吗）吗？对于多个参数之间比较微分可不一定。所以对一次微分加了个分母，引入了二次微分。用一次微分除以二次微分就可以代表离最小值的远近了。  
为什么可以用一次微分的平方代替二次微分呢？  
一是因为一次微分的平方和二次微分的增减是一致的，可以代替；  
二是因为一次微分在每次更新都会计算，可以不断累积；而不用每次都重新算二次微分。  
![这里写图片描述][70 7]

**8.随机梯度下降Stochastic Grad**  
随机梯度每次只使用一个样本，而不是使用所有的样本，这样收敛速度慢一些，因为随机梯度每次不一定朝着最佳方向。

**9.Feature Scaling**  
因为每个特征的取值范围不一样，如果不进行尺度变换可能会减缓收敛速度，左图没有进行尺度变换，右图进行了尺度变换  
![这里写图片描述][70 8]  
常见的尺度变换的方法有标准化等等。

**10.误区**  
![这里写图片描述][70 9]  
答案是不一定，如果步长很大，可能后一次比前一次的L还要大……

**11.梯度下降的数学解释**  
李宏毅老师在本讲的最后，讲述了站在泰勒级数展开的角度，解释梯度下降的原理。  
泰勒级数原理如下：  
![这里写图片描述][70 10]

引申到凸优化问题上来，就是要不断从一个点向另一个点，即向最优点（最小值点）靠近，于是要求某点(a,b)附近的最小值，可以做类似的步骤：  
![这里写图片描述][70 11]  
于是，要找到（θ1，θ2）使得L变小小，相当于找到一个方向，使得L变小。很显然，当（θ1-a，θ2-b）与（u，v）的方向相反时，L会变小，即：  
![这里写图片描述][70 12]  
![这里写图片描述][70 13]  
前提是yita（学习率）不能太大，否则会超出小红圈。  
这就是梯度下降法的泰勒级数解释。  
（顺便感叹一下数学之美！）

[70]: /images/20220531/14565e7b45dc45efb58419c5faaa10fd.png
[70 1]: /images/20220531/7d08919241ef4a0dbc644c546b172d82.png
[70 2]: /images/20220531/f4c365095afb4133a005dfd5d382d2ce.png
[70 3]: /images/20220531/5c3dabd3292e4eafbcd75f7f3c075137.png
[70 4]: /images/20220531/196d77415cce4f58a6407a0eba87b07d.png
[70 5]: /images/20220531/5725f54a823f4a48815d354e5327ea32.png
[70 6]: /images/20220531/8321cb932a3446f2905532f3b0bac5e7.png
[70 7]: /images/20220531/8cb392b3c3dd4f42a5212d3734762d46.png
[70 8]: /images/20220531/27fa49c303264c86a2608befc9e45c98.png
[70 9]: /images/20220531/26032f90e3474acf87810427a50751d1.png
[70 10]: /images/20220531/5684deb6bb6349eb803ac917fecab5e3.png
[70 11]: /images/20220531/c31b1bc04b724620a7b5a1819c2b87c9.png
[70 12]: /images/20220531/688296d998f441ef9450a368a741bd7e.png
[70 13]: /images/20220531/6aea5be821154898bd8cd7aee5aab498.png