深度学习实战（八）——如何设置学习率

本是古典何须时尚 2021-12-20 04:29 1664阅读 0赞

# 一、学习率的介绍 #

学习率是深度学习中的一个重要的超参，如何调整学习率是训练出好模型的关键要素之一。在通过SGD求解问题的极小值时，梯度不能太大，也不能太小**。太大容易出现超调现象，即在极值点两端不断发散，或是剧烈震荡，总之随着迭代次数增大loss没有减小的趋势；太小会导致无法快速地找到好的下降的方向，随着迭代次数增大loss基本不变。学习率越小，损失梯度下降的速度越慢，收敛的时间更长【1】。**  
      如公式所示：  
                                                        new\_weight= existing\_weight — learning\_rate \* gradient  
(新权值 = 当前权值 – 学习率 × 梯度)  
                                   ![20180530140611733][]  
                                                      *  采用小学习速率（顶部）和大学习速率（底部）的梯度下降*

如果学习率过小，梯度下降很慢，如果学习率过大，如Andrew Ng的Stanford公开课程所说梯度下降的步子过大可能会跨过最优值。不同的学习率对loss的影响如下图所示【2】：  
                            ![20180530140718175][]

--------------------

# 二、学习率的调整方法 #

根据数据集的大小来选择合适的学习率，当使**用平方和误差作为成本函数时**，随着**数据量的增多**，**学习率应该被设置为相应更小的值**（从梯度下降算法的原理可以分析得出）。另一种方法就是，选择**不受数据集大小影响**的**成本函数-均值平方差函数**。

训练全过程并不是使用一个固定值的学习速度，而是随着时间的推移让学习率动态变化，比如*刚开始训练*，离下山地点的最优值还很远，那么可以使用较大的*学习率下的快一点*，当*快接近最优值时*为避免跨过最优值，下山速度要放缓，即应使用较小学习率训练，具体情况下因为我们也不知道训练时的最优值，所以具体的解决办法是：在每次迭代后，使用估计的模型的参数来查看误差函数的值，如果相对于上一次迭代，错误率减少了，就可以增大学习率如果相对于上一次迭代，错误率增大了，那么应该重新设置上一轮迭代的值，并且减少学习率到之前的50%。因此，这是一种学习率自适应调节的方法。在Caffe、Tensorflow等深度学习框架中都有很简单直接的学习率动态变化设置方法。

因此，我们常常用一些\*\*退火\*\*的方法调整学习率。学习率调整方法基本上有两种：  
   ** 1. 基于经验的手动调整。**

通过尝试不同的固定学习率，如3、1、0.5、0.1、0.05、0.01、0.005，0.005、0.0001、0.00001等，观察迭代次数和loss的变化关系，找到loss下降最快关系对应的学习率。关于学习率的大小所带来的loss变化：

> 1.  太大: loss爆炸, 或者nan
> 2.  太小: 半天loss没反映(但是, LR（learning rate）需要降低的情况也是这样, 这里可视化网络中间结果, 不是weights, 有效果, 俩者可视化结果是不一样的, 太小的话中间结果有点水波纹或者噪点的样子, 因为filter学习太慢的原因, 试过就会知道很明显)
> 3.  需要进一步降低了: loss在当前LR下一路降了下来, 但是半天不再降了.
> 4.   如果有个复杂点的任务, 刚开始, 是需要人肉盯着调LR的. 后面熟悉这个任务网络学习的特性后, 可以扔一边跑去了.
> 5.   如果上面的Loss设计那块你没法合理, 初始情况下容易爆, 先上一个小LR保证不爆, 等loss降下来了, 再慢慢升LR, 之后当然还会慢慢再降LR, 虽然这很蛋疼.
> 6.  LR在可以工作的最大值下往小收一收, 免得ReLU把神经元弄死了.

**   2. 基于策略的调整。**  
           2.1 fixed 、exponential、polynomial  
           2.2. 自适应动态调整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd  
比如：

lr = tf.Variable(0.001, dtype=tf.float32)#学习率
    # 定义损失函数和优化器，损失函数用sigmoid交叉熵，优化器选择AdamOptimizer
    #tf.nn.sigmoid_cross_entropy_with_logits():对于给定的logits计算sigmoid的交叉熵。
    #tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（图像）的平均值。
    loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=pred, labels=one_hot_labels))
    optimizer = tf.train.AdamOptimizer(learning_rate=lr).minimize(loss) #是一个寻找全局最优点的优化算法，引入了二次方梯度校正

--------------------

这是关于[tf.nn.sigmoid\_cross\_entropy\_with\_logits()][tf.nn.sigmoid_cross_entropy_with_logits]函数和[tf.reduce\_mean()][tf.reduce_mean]函数的介绍

这篇文章讨论了调整学习率的理论研究：[【AI学习】理解深度学习中的学习率及多种选择策略][AI]

参考：  
【1】深度学习如何设置学习率：https://blog.csdn.net/mao\_feng/article/details/52902666

【2】深度学习（五）学习率的调节：https://blog.csdn.net/hzqgangtiexia/article/details/80509211

# #

[20180530140611733]: /images/20211220/8a055b8900cb4f7dbf362b273ca730cd.png
[20180530140718175]: /images/20211220/4bdbe0ea4c3d4a478552ae6b1056efd0.png
[tf.nn.sigmoid_cross_entropy_with_logits]: https://mp.csdn.net/postedit/94040523
[tf.reduce_mean]: https://mp.csdn.net/postlist
[AI]: https://mp.weixin.qq.com/s?__biz=MzI2OTQzODI1OA%3D%3D&idx=1&mid=2247484501&sn=7a95256df9e6480832bcac86f47442d0