keras optimizers 优化器

谁践踏了优雅 2022-02-22 14:40 312阅读 0赞

优化器就是向模型打包传递参数，什么参数呢，就是我们训练时使用到的诸如，学习率，衰减，momentum，梯度下降得到若干种方式，用不用动量等等。你可以在一开始传入这个值，然后就一直使用这个值训练，也可以在训练时根据epoch调整参数。

optimizers的两种使用方式

一，在使用compile调用之前就生成自定义的optimizer实例，这种给用户的自由最大，但是同样的你也需要定义很多个参数：

sgd = optimizers.SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True)
    model_mine.compile(loss = 'mean_squared_error', optimizers=sgd)

二，在complie的时候使用预定义的快捷optimizers参数：

mine_model.compile(loss='mean_squared_error', oprimizers='sgd')

对于方法一，你有若干可以填写的参数。

通用参数：梯度裁剪参数。抑制梯度爆炸，两种方式抑制：

1.所有参数的向量模长

2.每个参数的绝对值

同时，keras还提供了各种各样的梯度下降方式，比如：

#随机梯度下降
    sgd = optimizers.SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
    #adagrad
    keras.optimizers.Adagrad(lr=0.01, epsilon=None, decay=0.0)

等等，事实上官方提供了很多很全的[document中文版][document]，建议看看。

总结如下：

1.sgd:随机梯度下降优化器。

2.RMSprop:这个优化器通常是训练循环神经网络RNN的不错选择。

3.Adagrad: Adagrad 是一种具有特定参数学习率的优化器，它根据参数在训练期间的更新频率进行自适应调整。参数接收的更新越多，更新越小。

4.Adadeltaz:Adadelta 是 Adagrad 的一个具有更强鲁棒性的的扩展版本

5.Adam:本质上是 RMSProp 与动量 momentum 的结合

6.Nadam:Nadam 是采用 Nesterov momentum 版本的 Adam 优化器。

[document]: https://keras.io/zh/optimizers/

发表评论取消回复

表情：

评论列表（有 0 条评论，312人围观）

还没有评论，来说两句吧...

相关阅读

相关数值优化（Numerical Optimization）学习系列-无梯度优化（Derivative-Free Optimization）...

数值优化（Numerical Optimization）学习系列-无梯度优化（Derivative-Free Optimization） 2015年12月27日 1

╰+哭是因爲堅強的太久メ/ 2023年06月04日 02:48/ 0 赞/ 11 阅读

相关四、加速神经网络训练优化器 optimizer

关于优化器：其实机器学习训练过程中的本质就是在最小化损失，而在我们定义了损失函数后，优化器就派上了用场，在深度学习中，我们通常就是对于梯度优化，优化的目标就是网络模型里的参

待我称王封你为后i/ 2023年05月29日 11:51/ 0 赞/ 18 阅读

相关 mysql optimize innodb_mysql optimize innodb 优化

如果对mysql表，进行大范围删除后，最好做一个表优化，这样会快一些。以前写过一篇类似的，针对myisam存储引擎的。请参考：实例说明optimize table在优化mysq

超、凢脫俗/ 2023年01月12日 07:56/ 0 赞/ 197 阅读

相关 pytorch进行Optimizer 优化器对比

pytorch1.0进行Optimizer 优化器对比 import torch import torch.utils.data as Data Torc

╰+攻爆jí腚メ/ 2022年12月30日 14:50/ 0 赞/ 222 阅读

相关 Keras SGD 随机梯度下降优化器参数设置方式

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

た入场券/ 2022年12月27日 15:25/ 0 赞/ 124 阅读

相关 Oracle 浅谈optimizer_mode优化器模式

Oracle query optimizer（查询优化器）是我们接触最多的一个数据库组件。查询优化器最主要的工作就是接受输入的SQL以及各种环境参数、配置参数，生成合适的SQL

╰+哭是因爲堅強的太久メ/ 2022年06月07日 04:07/ 0 赞/ 733 阅读

相关 [机器学习 ] 优化器optimizer

SGD：沿梯度方向更新 SGD+momentum ：沿速度方向更新，而不是沿梯度方向更新 AdaGrad : 除以梯度平方项。步长会越来越小，可能会卡再局部最优

「爱情、让人受尽委屈。」/ 2022年05月13日 12:10/ 0 赞/ 237 阅读

相关 keras optimizers 优化器

优化器就是向模型打包传递参数，什么参数呢，就是我们训练时使用到的诸如，学习率，衰减，momentum，梯度下降得到若干种方式，用不用动量等等。你可以在一开始传入这个值，然后就一

谁践踏了优雅/ 2022年02月22日 14:40/ 0 赞/ 313 阅读

相关优化器 optimizer

Optimizer 优化器学习资料: 学习资料: 各种 Optimizer 的对比链接(英文) > [http://cs231n.github.io/

迈不过友情╰/ 2022年01月22日 12:37/ 0 赞/ 235 阅读

相关 tf常见的优化器（Optimizer）汇总

tf常见的优化器（Optimizer）汇总 tensorflow常见的Optimizer 1 梯度下降法 2 Adagrad下降法

清疚/ 2021年12月04日 09:11/ 0 赞/ 666 阅读