详解随机梯度下降法（Stochastic Gradient Descent，SGD）

柔光的暖阳◎ 2022-11-03 15:28 444阅读 0赞

深度学习**最常用的优化方法就是随机梯度下降法**，但是随机梯度下降法在某些情况下会失效，这是为什么呢？带着这个问题我们接着往下看。  
一个经典的例子就是假设你现在在山上，为了以最快的速度下山，且视线良好，你可以看清自己的位置以及所处位置的坡度，那么沿着坡向下走，最终你会走到山底。但是如果你被蒙上双眼，那么你则只能凭借脚踩石头的感觉判断当前位置的坡度，精确性就大大下降，有时候你认为的坡，实际上可能并不是坡，走一段时间后发现没有下山，或者曲曲折折走了好多路才能下山。  
类似的，批量梯度下降法（Batch Gradient Descent，BGD）就好比正常下山，而随机梯度下降法就好比蒙着眼睛下山，数学上的表达式为。  
**批量梯度下降法在全部训练集上计算准确的梯度**，公式为  
 ∑ i = 1 n ∇ θ f ( θ ; x i , y i ) + ∇ θ ϕ ( θ ) \\sum\_\{i=1\}^\{n\} \\nabla\_\{\\theta\} f\\left(\\theta ; x\_\{i\}, y\_\{i\}\\right)+\\nabla\_\{\\theta\} \\phi(\\theta) i=1∑n∇θf(θ;xi,yi)\+∇θϕ(θ)  
其中 f ( θ ; x i , y i ) f\\left(\\theta ; x\_\{i\}, y\_\{i\}\\right) f(θ;xi,yi)表示在每个样本的损失函数， ϕ ( θ ) \\phi(\\theta) ϕ(θ)为正则项。  
随机梯度下降法则采样单个样本来估计当前的梯度，即  
 ∇ θ f ( θ ; x i , y i ) + ∇ θ ϕ ( θ ) \\nabla\_\{\\theta\} f\\left(\\theta ; x\_\{i\}, y\_\{i\}\\right)+\\nabla\_\{\\theta\} \\phi(\\theta) ∇θf(θ;xi,yi)\+∇θϕ(θ)  
可以看出，为了获取准确的梯度，**批量梯度下降法**的每一 步都把整个训练集载入进来进行计算，**时间花费和内存开销都非常大**，无法应用于大数据集、大模型的场景。相反，随机梯度下降法则放弃了对梯度准确性的追求，每步仅仅随机采样一个(或少量)样本来估计当前梯度，计算速度快，内存开销小。但由于每步接受的信息量有限，随机梯度下降法对梯度的估计常常出现偏差，造成目标函数曲线收敛得很不稳定，伴有剧烈波动，有时甚至出现不收敛的情况。下图展示了两种方法在优化过程中的参数轨迹，可以看出，批量梯度下降法稳定地逼近最低点，而随机梯度下降法的参数轨迹曲曲折折简直是“黄河十八弯"。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70]  
*（a）批量梯度下降法*  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 1]  
*（b）随机梯度下降法*  
进步地，有人会说深度学习中的优化问基本身就很难，有太多局部最优点的陷阱，没错，这些陷阱对于随机梯度下降法和批量梯度下降都是普遍存在的。但对随机梯度下降法来说，可怕的不是局部最优点，而是山谷和鞍点两类地形。山谷顾名思义就是狭长的山间小道，左右两边是峭壁；鞍点的形状像是一个马鞍，一个方向上两头翘， 另一个方向上两头垂，而中心区域是一片近乎水平的平地。为什么随机梯度下降法最害怕遇上这两类地形呢?在山谷中，准确的梯度方向是沿山道向下，稍有偏离就会撞向山壁，而**粗糙的梯度估计使得它在两山壁间来回反弹震荡，不能沿山道方向迅速下降，导致收敛不稳定和收敛速度慢**。**在鞍点处，随机梯度下降法会走入一片平坦之地**(此时离最低点还很远，故也称plateau)。想象一下蒙着双眼只凭借脚底感觉坡度，如果坡度很明显，那么基本能估计出下山的大致方向；如果坡度不明显，则很可能走错方向。同样，在梯度近乎为零的区域，随机梯度下降法无法准确察觉出梯度的微小变化，结果就停滞下来。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 2]  
*上图示例为鞍点*  
**解决方案：动量（Momentum）方法、AdaGrad方法、Adam方法**  
分析：随机梯度下降本质上是采用迭代方式更新参数，每次迭代在当前位置的基础上，沿着某一方向迈一小步抵达下一位置，然后再下一位置重复上述步骤。随机梯度下降法的更新公式表示为： θ t + 1 = θ t − η g t \\theta\_\{t+1\}=\\theta\_\{t\}-\\eta g\_\{t\} θt\+1=θt−ηgt，其中，当前估计的负梯度 − g t -g\_\{t\} −gt表示步子的方向，学习速率 η \\eta η，控制步幅，改造的随机梯度下降法仍然基于这个更新公式。  
**动量（Momentum）方法**  
为了解决随机梯度下降法山谷震荡和鞍点停滞的问题，我们做一个简单的思维实验。想象一下纸团在山谷和鞍点处的运动轨迹，在山谷中纸团受重力作用沿山道滚下，两边是不规则的山壁，纸团不可避免地撞在山壁上，由于**质量小受山壁弹力的干扰大**，从一侧山壁反弹回来撞向另一侧山壁，结果来回震荡地滚下；如果当纸团来到鞍点的一片平坦之地时，还是由于质属小，速度很快减为零。纸团的情况和随机梯度下降法遇到的问题面直如出一辙。直观地，如果**换成一个铁球**，当沿着山谷滚下时，不容易受到途中旁力的干扰，轨迹会更稳更直；当来到鞍点中心处，在惯性作用下继续前行，从而有机会冲出这片平坦的陷阱，因此，有了动量方法，模型参数的迭代公式为：  
 v t = γ v t − 1 + η g t v\_\{t\}=\\gamma v\_\{t-1\}+\\eta g\_\{t\} vt=γvt−1\+ηgt。  
 θ t + 1 = θ t − v t \{\\theta\_\{t+1\}=\{\\theta\}\_\{t\}-\{v\_\{t\}\}\} θt\+1=θt−vt。  
具体来说，前进步伐 v t v\_\{t\} vt，由两部分组成。一是学习速率 η \{\\eta\} η乘以当前估计的梯度 g t \{g\_\{t\}\} gt；二是带衰减的前一次步伐 v t − 1 \{v\_\{t-1\}\} vt−1这里，**惯性就体现在对前一次步伐信息的重利用上**。类比中学物理知识，当前梯度就好比当前时刻受力产生的加速度，前一次步伐好比前一-时刻的速度，当前步伐好比当前时刻的速度。为了计算当前时刻的速度，应当考虑前一时刻速度和当前加速度共同作用 的结果，因此 v t \{v\_\{t\}\} vt直接依赖于 v t − 1 \{v\_\{t -1\}\} vt−1和 g t \{g\_\{t\}\} gt，而不仅仅是 g t \{g\_\{t\}\} gt。另外，衰减系数 γ \{\\gamma\} γ扮演了阻力的作用。  
中学物理还告诉我们，刻画惯性的物理量是动量，这也是算法名字的由来。沿山谷滚下的铁球，会受到沿坡道向下的力和与左右山壁碰撞的弹力。向下的力稳定不变，产生的动量不断累积，速度越来越快；左右的弹力总是在不停切换，动量累积的结果是相互抵消，自然减弱了球的来回震荡。因此，与随机梯度下降法相比，动量方法的收敛速度更快，收敛曲线也更稳定，如下图示  
![在这里插入图片描述][20210302132530189.png]  
**AdaGrad 方法**  
惯性的获得是基于历史信息的，那么，除了从过去的步伐中获得一股子向前冲的劲儿，还能获得什么呢？我们还期待获得对周围环境的感知，即使蒙上双眼，依靠前几次迈步的感觉，也应该能判断出一些信息，比如这个方向总是坑坑洼洼的，那个方向可能很平坦。随机梯度下降法对环境的感知是指在参数空间中，根据不同参数的一些经验性判断，自适应地确定参数的学习速率，不同参数的更新步幅是不同的。例如，在文本处理中训练词嵌入模型的参数时，有的词或词组频繁出现，有的词或词组则极少出现。数据的稀疏性导致相应参数的梯度的稀疏性，不频繁出现的词或词组的参数的梯度在大多数情况下为零，从而这些参数被更新的频率很低。在应用中，**我们希望更新频率低的参数可以拥有较大的更新步幅，而更新频率高的参数的步幅可以减小**。AdaGrad方法采用“**历史梯度平方和**”来衡量不同参数的梯度的稀疏性，取值越小表明越稀疏，具体的更新公式表示为

θ t + 1 , i = θ t , i − η ∑ k = 0 t g k , i 2 + ϵ g t , i \\theta\_\{t+1, i\}=\\theta\_\{t, i\}-\\frac\{\\eta\}\{\\sqrt\{\\sum\_\{k=0\}^\{t\} g\_\{k, i\}^\{2\}+\\epsilon\}\} g\_\{t, i\} θt\+1,i=θt,i−∑k=0tgk,i2\+ϵηgt,i

其中， θ t + 1 \{\\theta\_\{t+1\}\} θt\+1表示（t+1）时刻的参数向量  θ t + 1 \{\\theta\_\{t+1\}\} θt\+1的第 i \{i\} i个参数， g k , i \{g\_\{k,i\}\} gk,i表示第 k \{k\} k时刻的梯度向量 g k \{g\_\{k\}\} gk的第 i \{i\} i个维度（方向）。另外，分母中求和的形式实现了退火过程，这是很多优化技术中常见的策略，意味着随着时间的推移，学习速率 η ∑ k = 0 t g k , i 2 + ϵ \\frac\{\\eta\}\{\\sqrt\{\\sum\_\{k=0\}^\{t\} g\_\{k, i\}^\{2\}+\\epsilon\}\} ∑k=0tgk,i2\+ϵη越来越小。从而保证了算法的最终收敛。

**Adam方法**  
**Adam方法将惯性保持和环境感知这两个优点集于一身**。 一方面，Adam记录梯度的一阶矩(first moment)，即过往梯度与当前梯度的平均，这体现了惯性保持；另一方面，Adam还记录梯度的二阶矩( sccond moment)，即过往梯度平方与当前梯度平方的平均，这类似AdaGrad方法，体现了环境感知能力，为不同参数产生自适应的学习速率。一阶矩和二阶矩采用类似于滑动窗口内求平均的思想进行融合，即当前梯度和近一段时间内梯度的平均值，时间久远的梯度对当前平均值的贡献呈指数衰减。具体来说，一阶矩和二阶矩采用指数衰退平均( exponential decay average)技术，计算公式为  
 m t = β 1 m t − 1 + ( 1 − β 1 ) g t m\_\{t\}=\\beta\_\{1\} m\_\{t-1\}+\\left(1-\\beta\_\{1\}\\right) g\_\{t\} mt=β1mt−1\+(1−β1)gt

v t = β 2 v t − 1 + ( 1 − β 2 ) g t 2 v\_\{t\}=\\beta\_\{2\} v\_\{t-1\}+\\left(1-\\beta\_\{2\}\\right) g\_\{t\}^\{2\} vt=β2vt−1\+(1−β2)gt2，其中 β 1 \{\\beta\_\{1\}\} β1， β 2 \{\\beta\_\{2\}\} β2为衰减系数， m t \{m\_\{t\}\} mt是一阶矩， v t \{v\_\{t\}\} vt是二阶矩。  
如何理解一-阶矩和二阶矩呢？一阶矩相当于估计 E \[ g t \] \\mathbb\{E\}\\left\[g\_\{t\}\\right\] E\[gt\]：由于当下梯度g,是随机采样得到的估计结果，因此更关注它在在统计意义上的期望；二阶矩相当于估计 E \[ g t \] \\mathbb\{E\}\\left\[g\_\{t\}\\right\] E\[gt\]，这点与AdaGrad方法不同，不是从开始到现在的加和，而是它的期望。它们的物理意义是，当 ∥ m t ∥ \\left\\|m\_\{t\}\\right\\| ∥mt∥大且 v t \{v\_\{t\}\} vt大时，梯度大且稳定，这表明遇到一个明显的大坡，前进方向明确；当 ∥ m t ∥ \\left\\|m\_\{t\}\\right\\| ∥mt∥趋于零且 v t \{v\_\{t\}\} vt大时，梯度不稳定，表明可能遇到一个峡谷，容易引起反弹震荡；当 ∥ m t ∥ \\left\\|m\_\{t\}\\right\\| ∥mt∥大且 v t \{v\_\{t\}\} vt趋于零时，这种情况不可能出现；当 ∥ m t ∥ \\left\\|m\_\{t\}\\right\\| ∥mt∥趋于零且 v t \{v\_\{t\}\} vt趋于零时，梯度趋于零，可能到达局部最低点，也可能走到一片坡度极缓的平地，此时要避免陷入平原( plateau)。另外，Adam方法还考虑了 m t \{m\_\{t\}\} mt， v t \{v\_\{t\}\} vt在零初始值情况下的偏置矫正。具体来说，Adam的更新公式为

θ t + 1 = θ t − η ⋅ m ^ t v ^ t + ϵ \\theta\_\{t+1\}=\\theta\_\{t\}-\\frac\{\\eta \\cdot \\hat\{m\}\_\{t\}\}\{\\sqrt\{\\hat\{v\}\_\{t\}+\\epsilon\}\} θt\+1=θt−v^t\+ϵη⋅m^t其中， m ^ t = m t 1 − β 1 t , v ^ t = v t 1 − β 2 t \\hat\{m\}\_\{t\}=\\frac\{m\_\{t\}\}\{1-\\beta\_\{1\}^\{t\}\}, \\hat\{v\}\_\{t\}=\\frac\{v\_\{t\}\}\{1-\\beta\_\{2\}^\{t\}\} m^t=1−β1tmt,v^t=1−β2tvt

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70]: /images/20221023/839cfcead6734e3ab0fa31c92bb99c92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 1]: /images/20221023/d136ae487eb545b8b1465bcd37f3c5b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ0NjE0NTI0_size_16_color_FFFFFF_t_70 2]: /images/20221023/f4a8ef95d7144d2799936390660ae28e.png
[20210302132530189.png]: /images/20221023/1935346fedf0446a8e0560d8bf62f245.png