Deep Learning 最优化方法之Momentum（动量）

﹏ヽ暗。殇╰゛Y 2022-05-11 03:06 158阅读 0赞

本文是[Deep Learning 之 最优化方法][Deep Learning _]系列文章的Momentum（动量）方法。主要参考Deep Learning 一书。

> 整个优化系列文章列表：
> 
> [Deep Learning 之 最优化方法][Deep Learning _]
> 
> [Deep Learning 最优化方法之SGD][Deep Learning _SGD]
> 
> [Deep Learning 最优化方法之Momentum（动量）][Deep Learning _Momentum]
> 
> [Deep Learning 最优化方法之Nesterov(牛顿动量)][Deep Learning _Nesterov]
> 
> [Deep Learning 最优化方法之AdaGrad][Deep Learning _AdaGrad]
> 
> [Deep Learning 最优化方法之RMSProp][Deep Learning _RMSProp]
> 
> [Deep Learning 最优化方法之Adam][Deep Learning _Adam]

先上结论：

> 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。
> 
> 2.加速学习
> 
> 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。
> 
> 4.通过速度v，来积累了之间梯度指数级衰减的平均，并且继续延该方向移动：
> 
> ![这里写图片描述][SouthEast]

再看看算法：  
![这里写图片描述][SouthEast 1]

**动量算法直观效果解释：**

>   如图所示，红色为SGD+Momentum。黑色为SGD。可以看到黑色为典型Hessian矩阵病态的情况，相当于大幅度的徘徊着向最低点前进。  
>   **而由于动量积攒了历史的梯度，如点P前一刻的梯度与当前的梯度方向几乎相反。因此原本在P点原本要大幅徘徊的梯度，主要受到前一时刻的影响，而导致在当前时刻的梯度幅度减小。**  
>   直观上讲就是，要是当前时刻的梯度与历史时刻梯度方向相似，这种趋势在当前时刻则会加强；要是不同，则当前时刻的梯度方向减弱。
> 
> ![这里写图片描述][SouthEast 2]

**从另一个角度讲：**

>   要是当前时刻的梯度与历史时刻梯度方向相似，这种趋势在当前时刻则会加强；要是不同，则当前时刻的梯度方向减弱。  
>   假设每个时刻的梯度g总是类似，那么由![这里写图片描述][SouthEast 3]我们可以直观的看到每次的步长为：
> 
> ![这里写图片描述][SouthEast 4]
> 
>   
> 即当设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。

[Deep Learning _]: http://blog.csdn.net/BVL10101111/article/details/72614711
[Deep Learning _SGD]: http://blog.csdn.net/bvl10101111/article/details/72615436
[Deep Learning _Momentum]: http://blog.csdn.net/bvl10101111/article/details/72615621
[Deep Learning _Nesterov]: http://blog.csdn.net/bvl10101111/article/details/72615961
[Deep Learning _AdaGrad]: http://blog.csdn.net/bvl10101111/article/details/72616097
[Deep Learning _RMSProp]: http://blog.csdn.net/bvl10101111/article/details/72616378
[Deep Learning _Adam]: http://blog.csdn.net/bvl10101111/article/details/72616516
[SouthEast]: /images/20220511/4127a5856da24f9c90258c48454fd27d.png
[SouthEast 1]: /images/20220511/e159eb0d95ea47c4bec6588b0ba054e6.png
[SouthEast 2]: /images/20220511/70804889727e47edbae420dd787ec8bd.png
[SouthEast 3]: /images/20220511/eb970bfd692a48d6a64559567068d94b.png
[SouthEast 4]: /images/20220511/99a19dbe0eea47cebd4bc2153079d2b0.png