Deep Learning 最优化方法之Adam

喜欢ヅ旅行 2022-05-11 03:06 159阅读 0赞

本文是[Deep Learning 之 最优化方法][Deep Learning _]系列文章的Adam方法。主要参考Deep Learning 一书。

> 整个优化系列文章列表：
> 
> [Deep Learning 之 最优化方法][Deep Learning _]
> 
> [Deep Learning 最优化方法之SGD][Deep Learning _SGD]
> 
> [Deep Learning 最优化方法之Momentum（动量）][Deep Learning _Momentum]
> 
> [Deep Learning 最优化方法之Nesterov(牛顿动量)][Deep Learning _Nesterov]
> 
> [Deep Learning 最优化方法之AdaGrad][Deep Learning _AdaGrad]
> 
> [Deep Learning 最优化方法之RMSProp][Deep Learning _RMSProp]
> 
> [Deep Learning 最优化方法之Adam][Deep Learning _Adam]

先上结论：

> 1.Adam算法可以看做是修正后的[Momentum][Deep Learning _Momentum]\+[RMSProp][]算法
> 
> 2.动量直接并入梯度一阶矩估计中（指数加权）
> 
> 3.Adam通常被认为对超参数的选择相当鲁棒
> 
> 4.学习率建议为0.001

再看算法：**其实就是Momentum+RMSProp的结合，然后再修正其偏差。**  
![这里写图片描述][SouthEast]

[Deep Learning _]: http://blog.csdn.net/BVL10101111/article/details/72614711
[Deep Learning _SGD]: http://blog.csdn.net/bvl10101111/article/details/72615436
[Deep Learning _Momentum]: http://blog.csdn.net/bvl10101111/article/details/72615621
[Deep Learning _Nesterov]: http://blog.csdn.net/bvl10101111/article/details/72615961
[Deep Learning _AdaGrad]: http://blog.csdn.net/bvl10101111/article/details/72616097
[Deep Learning _RMSProp]: http://blog.csdn.net/bvl10101111/article/details/72616378
[Deep Learning _Adam]: http://blog.csdn.net/bvl10101111/article/details/72616516
[RMSProp]: http://blog.csdn.net/BVL10101111/article/details/72616378
[SouthEast]: /images/20220511/0abfc90e5a8d4e4fa2c1cff30c8b9d9a.png