优化方法总结以及Adam存在的问题(SGD, Momentum, AdaDelta, Adam, AdamW，LazyAdam)

分手后的思念是犯贱 2023-06-04 02:50 6阅读 0赞

# 优化方法总结以及Adam存在的问题(SGD, Momentum, AdaDelta, Adam, AdamW，LazyAdam) #

2019年05月29日 01:07:50 [糖葫芦君][Link 1] 阅读数 455更多

分类专栏： [算法][Link 2] [深度学习][Link 3]

本文链接： [https://blog.csdn.net/yinyu19950811/article/details/90476956][https_blog.csdn.net_yinyu19950811_article_details_90476956]

### 文章目录 ###

*  [优化方法概述][Link 4]
 *  [1.整体框架][1.]
    
     *  [1.1 SGD][]
     *  [1.2 Momentum][]
        
         *  [1.2.1 理解指数加权平均][1.2.1]
         *  [1.2.2 偏差修正][1.2.2]
     *  [1.3 AdaGrad][]
     *  [1.4 Nesterov][]
     *  [1.5 AdaDelta/RMSProp][1.5 AdaDelta_RMSProp]
     *  [1.6 Adam(AdaptiVe Moment Estimation)][1.6 Adam_AdaptiVe Moment Estimation]
     *  [1.7 Adam的改进][1.7 Adam]
        
         *  [1.7.1 Adamw][]
         *  [1.7.2 LazyAdam][]
         *  [1.7.3 Madam][]
 *  [2. 到底是用Adam还是用SGD][2. _Adam_SGD]
    
     *  [2.1 Adam的罪状][2.1 Adam]
     *  [2.2 AdaBound][]
     *  [2.3 到底该用Adam还是SGD？][2.3 _Adam_SGD]
 *  [3. 优化算法的常用tricks][3. _tricks]
    
     *  [学习率衰减][Link 5]

# 优化方法概述 #

模型优化方法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能是优化算法的问题，而且好的优化算法还能够帮助加速训练模型。

深度学习模型的发展进程：  
SGD -> SGDM ->NAG -> AdaGrad -> AdaDelta -> Adam -> Nadam

# 1.整体框架 #

首先定义：  
待优化参数www, 目标函数：f(w)f(w)f(w)，学习率α\\alphaα  
每次迭代：

1.  计算目标函数关于参数的梯度：gt=▽f(wt)g\_t=\\bigtriangledown f(w\_t)gt=▽f(wt)
2.  根据历史梯度计算一阶动量和二阶动量：mt=ϕ(g1,g2,...,gt),Vt=ψ(g1,g2,...,gt)m\_t=\\phi(g\_1, g\_2, ..., g\_t), V\_t=\\psi(g\_1, g\_2,...,g\_t)mt=ϕ(g1,g2,...,gt),Vt=ψ(g1,g2,...,gt)
3.  计算当前时刻的下降梯度：ηt=α⋅mt/Vt−−√\\eta\_t= \\alpha \\cdot m\_t/ \\sqrt\{V\_t\}ηt=α⋅mt/Vt
4.  根据下降梯度对参数进行更新：wt\+1=wt−ηtw\_\{t+1\}=w\_t-\\eta\_twt\+1=wt−ηt

步骤3、4对于各个算法都是一致的，主要的差别就体现在1和2上。

## 1.1 SGD ##

没有动量的概念，第三步中 ηt=α⋅gt\\eta\_t=\\alpha \\cdot g\_tηt=α⋅gt  
其中batch\_size是一个重要的变量，需要做一个快速尝试，才能够找到能够最有效地减少成本函数的那个，一般是2n2^n2n。  
缺点：

*  有可能会陷入局部最小值；
 *  不会收敛，最终会一直在最小值附近波动，并不会达到最小值并停留在此；
 *  下降速度慢；
 *  选择合适的learning rate比较困难；
 *  在所有方向上统一的缩放梯度，不适用于稀疏数据

## 1.2 Momentum ##

SGD下降方法的缺点是参数更新方向只依赖于当前batch计算出的梯度，因此十分的不稳定。为了抑制SGD的震荡，动量认为梯度下降的过程中可以加入惯性。动量梯度下降法运行速度总是快于标准的梯度下降法，其基本思想是在SGD的基础上引入了一阶动量：  
mt=βmt−1\+(1−β)gtm\_t=\\beta m\_\{t-1\}+(1-\\beta)g\_tmt=βmt−1\+(1−β)gt  
一阶动量指的是各个时刻梯度的指数加权平均，约等于11−β1\\frac\{1\}\{1-\\beta\_1\}1−β11个历史时刻的梯度向量和的平均值，也就是t时刻的下降方向，不仅由当前点的梯度方向决定，还由此前的累积的梯度来决定，β\\betaβ的经验值一般为0.9，也就是意味着下降方向主要是此前累积的下降方向，并略微偏向当前时刻的下降方向。并利用当前batch微调最终的更新方向。如果当前梯度方向与历史梯度一致，会增强该方向的梯度。如果不一致，能够减少更新。  
优点：

*  增加了稳定性；
 *  收敛速度更快；
 *  还有一定摆脱局部最优的能力。

### 1.2.1 理解指数加权平均 ###

使得β=0.9\\beta=0.9β=0.9  
m100=0.9m99\+0.1θ100m\_\{100\}=0.9m\_\{99\}+0.1\\theta\_\{100\}m100=0.9m99\+0.1θ100  
m99=0.9m98\+0.1θ99m\_\{99\}=0.9m\_\{98\}+0.1\\theta\_\{99\}m99=0.9m98\+0.1θ99  
m98=0.9m97\+0.1θ98m\_\{98\}=0.9m\_\{97\}+0.1\\theta\_\{98\}m98=0.9m97\+0.1θ98  
把公式带入会得到：  
m100=

转载于:https://www.cnblogs.com/think90/p/11515264.html

[Link 1]: https://me.csdn.net/yinyu19950811
[Link 2]: https://blog.csdn.net/yinyu19950811/article/category/5837277
[Link 3]: https://blog.csdn.net/yinyu19950811/article/category/8534848
[CC 4.0 BY-SA]: http://creativecommons.org/licenses/by-sa/4.0/
[https_blog.csdn.net_yinyu19950811_article_details_90476956]: https://blog.csdn.net/yinyu19950811/article/details/90476956
[Link 4]: https://blog.csdn.net/yinyu19950811/article/details/90476956#_1
[1.]: https://blog.csdn.net/yinyu19950811/article/details/90476956#1_8
[1.1 SGD]: https://blog.csdn.net/yinyu19950811/article/details/90476956#11_SGD_18
[1.2 Momentum]: https://blog.csdn.net/yinyu19950811/article/details/90476956#12_Momentum_28
[1.2.1]: https://blog.csdn.net/yinyu19950811/article/details/90476956#121__36
[1.2.2]: https://blog.csdn.net/yinyu19950811/article/details/90476956#122__48
[1.3 AdaGrad]: https://blog.csdn.net/yinyu19950811/article/details/90476956#13_AdaGrad_56
[1.4 Nesterov]: https://blog.csdn.net/yinyu19950811/article/details/90476956#14_Nesterov_69
[1.5 AdaDelta_RMSProp]: https://blog.csdn.net/yinyu19950811/article/details/90476956#15_AdaDeltaRMSProp_76
[1.6 Adam_AdaptiVe Moment Estimation]: https://blog.csdn.net/yinyu19950811/article/details/90476956#16_AdamAdaptiVe_Moment_Estimation_82
[1.7 Adam]: https://blog.csdn.net/yinyu19950811/article/details/90476956#17_Adam_99
[1.7.1 Adamw]: https://blog.csdn.net/yinyu19950811/article/details/90476956#171_Adamw_100
[1.7.2 LazyAdam]: https://blog.csdn.net/yinyu19950811/article/details/90476956#172_LazyAdam_140
[1.7.3 Madam]: https://blog.csdn.net/yinyu19950811/article/details/90476956#173_Madam_185
[2. _Adam_SGD]: https://blog.csdn.net/yinyu19950811/article/details/90476956#2_AdamSGD_257
[2.1 Adam]: https://blog.csdn.net/yinyu19950811/article/details/90476956#21_Adam_261
[2.2 AdaBound]: https://blog.csdn.net/yinyu19950811/article/details/90476956#22_AdaBound_282
[2.3 _Adam_SGD]: https://blog.csdn.net/yinyu19950811/article/details/90476956#23_AdamSGD_296
[3. _tricks]: https://blog.csdn.net/yinyu19950811/article/details/90476956#3_tricks_301
[Link 5]: https://blog.csdn.net/yinyu19950811/article/details/90476956#_312