Keras SGD 随机梯度下降优化器参数设置方式

た入场券 2022-12-27 15:25 123阅读 0赞

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/

友情链接：

[高州阳光论坛][Link 2]https://www.hnthzk.com/

[人人影视][Link 3]http://www.sfkyty.com/

**SGD 随机梯度下降**

Keras 中包含了各式优化器供我们使用，但通常我会倾向于使用 SGD 验证模型能否快速收敛，然后调整不同的学习速率看看模型最后的性能，然后再尝试使用其他优化器。

Keras 中文文档中对 SGD 的描述如下：

> keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)

随机梯度下降法，支持动量参数，支持学习衰减率，支持Nesterov动量

**参数：**

lr：大或等于0的浮点数，学习率

momentum：大或等于0的浮点数，动量参数

decay：大或等于0的浮点数，每次更新后的学习率衰减值

nesterov：布尔值，确定是否使用Nesterov动量

**参数设置**

**Time-Based Learning Rate Schedule**

Keras 已经内置了一个基于时间的学习速率调整表，并通过上述参数中的 decay 来实现，学习速率的调整公式如下：

> LearningRate = LearningRate \* 1/(1 + decay \* epoch)

当我们初始化参数为：

> LearningRate = 0.1  
> decay = 0.001

大致变化曲线如下（非实际曲线，仅示意）：

![Image 1][]

当然，方便起见，我们可以将优化器设置如下，使其学习速率随着训练轮次变化：

> sgd = SGD(lr=learning\_rate, decay=learning\_rate/nb\_epoch, momentum=0.9, nesterov=True)

**Drop-Based Learning Rate Schedule**

另外一种学习速率的调整方法思路是保持一个恒定学习速率一段时间后立即降低，是一种突变的方式。通常整个变化趋势为指数形式。

![Image 1][]

**对应的学习速率变化公式如下：**

> LearningRate = InitialLearningRate \* DropRate^floor(Epoch / EpochDrop)

实现需要使用 Keras 中的 LearningRateScheduler 模块：

from keras.callbacks import LearningRateScheduler
    # learning rate schedule
    def step_decay(epoch):
     initial_lrate = 0.1
     drop = 0.5
     epochs_drop = 10.0
     lrate = initial_lrate * math.pow(drop, math.floor((1+epoch)/epochs_drop))
     return lrate

lrate = LearningRateScheduler(step\_decay)

# Compile model #

sgd = SGD(lr=0.0, momentum=0.9, decay=0.0, nesterov=False)  
model.compile(loss=…, optimizer=sgd, metrics=\[‘accuracy’\])

# Fit the model #

model.fit(X, Y, …, callbacks=\[lrate\])

**补充知识：****keras中的BGD和SGD**

**关于BGD和SGD**

首先BGD为批梯度下降，即所有样本计算完毕后才进行梯度更新；而SGD为随机梯度下降，随机计算一次样本就进行梯度下降，所以速度快很多但容易陷入局部最优值。

折中的办法是采用小批的梯度下降，即把数据分成若干个批次，一批来进行一次梯度下降，减少随机性，计算量也不是很大。 mini-batch

keras中的batch\_size就是小批梯度下降。

以上这篇Keras SGD 随机梯度下降优化器参数设置方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持菜鸟教程www.piaodoo.com。

[Link 1]: https://www.piaodoo.com/
[Link 2]: https://www.hnthzk.com/
[Link 3]: http://www.sfkyty.com/
[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，123人围观）

还没有评论，来说两句吧...

相关阅读

相关人工智能-损失函数-优化算法：普通梯度下降算法【BGD（批量梯度下降法）、SGD（随机梯度下降）、MBGD（小批量梯度下降法）】

人工智能-机器学习-损失函数-优化方法：普通梯度下降算法一、损失函数二、梯度下降法求解损失函数极小值 1、损失函数 J ( θ 0 , θ 1

约定不等于承诺〃/ 2023年10月05日 15:58/ 0 赞/ 62 阅读

相关梯度下降法-5.随机梯度下降法

之前所讲解的梯度下降法是批量梯度下降法（Batch Gradient Descent），我们将要优化的损失函数在某一点\\(\\theta\\)的梯度值准确的求出来 \\\

落日映苍穹つ/ 2023年08月17日 16:44/ 0 赞/ 167 阅读

相关优化算法：梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练：Dropout、Batch Normalization

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

分手后的思念是犯贱/ 2023年07月24日 05:46/ 0 赞/ 8 阅读

相关 Keras SGD 随机梯度下降优化器参数设置方式

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

た入场券/ 2022年12月27日 15:25/ 0 赞/ 124 阅读

相关随机梯度下降法介绍及其参数讲解

随机梯度下降法欢迎关注“程序杂货铺”公众号，里面有精彩内容，欢迎大家收看^\_^ 算法介绍 ![watermark_type_ZmFuZ3poZW5naGVpd

迷南。/ 2022年12月11日 05:23/ 0 赞/ 171 阅读

相关详解随机梯度下降法（Stochastic Gradient Descent，SGD）

深度学习最常用的优化方法就是随机梯度下降法，但是随机梯度下降法在某些情况下会失效，这是为什么呢？带着这个问题我们接着往下看。一个经典的例子就是假设你现在在山上，为了以最快

柔光的暖阳◎/ 2022年11月03日 15:28/ 0 赞/ 444 阅读

相关深度学习优化函数详解（3）-- mini-batch SGD 小批量随机梯度下降

深度学习优化函数详解系列目录深度学习优化函数详解（0）– 线性回归问题深度学习优化函数详解（1）– Gradient Descent 梯度下降法深度学习优化函

曾经终败给现在/ 2022年05月29日 13:13/ 0 赞/ 285 阅读

相关深度学习优化函数详解（2）-- SGD 随机梯度下降

深度学习优化函数详解系列目录深度学习优化函数详解（0）– 线性回归问题深度学习优化函数详解（1）– Gradient Descent 梯度下降法深度学习优化函

浅浅的花香味﹌/ 2022年05月29日 13:12/ 0 赞/ 277 阅读

相关梯度下降，随机梯度下降

[梯度下降（Gradient Descent）完整篇][Gradient Descent]转载在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient

墨蓝/ 2022年05月19日 23:47/ 0 赞/ 330 阅读

相关梯度下降 BGD,SGD,MBGD

梯度下降在深度学习里很常见，最近也在学习深度学习的基础知识，这里对于几种常用的梯度下降法做个简单的总结。 BGD：批量梯度下降法，SGD：随机梯度下降法，MBGD：小批量梯度

朴灿烈づ我的快乐病毒、/ 2022年05月17日 03:59/ 0 赞/ 259 阅读