正如之前所述，梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习速率（有时也称为步长）的标量，以确定下一个点的位置。例如，如果梯度大小为 2.5，学习速率为 0.01，则梯度下降法算法会选择距离前一个点 0.025 的位置作为下一个点。
超参数是编程人员在机器学习算法中用于调整的旋钮。大多数机器学习编程人员会花费相当多的时间来调整学习速率。如果您选择的学习速率过小，就会花费太长的学习时间：
图 6. 学习速率过小。
相反，如果您指定的学习速率过大，下一个点将永远在 U 形曲线的底部随意弹跳，就好像量子力学实验出现了严重错误一样：
图 7. 学习速率过大。
每个回归问题都存在一个金发姑娘学习速率。“金发姑娘”值与损失函数的平坦程度相关。如果您知道损失函数的梯度较小，则可以放心地试着采用更大的学习速率，以补偿较小的梯度并获得更大的步长。
图 8. 学习速率恰恰好。
▸详细了解理想的学习速率。
关键字词
超参数
学习速率
步长
最近几年网络效果的提升除了改变网络结构外，还有一群人在研究损失层的改进，这篇博文要介绍的就是较为新颖的center loss。center loss来自ECCV2016的一篇论
[\-柚子皮-][-_-] [Loss Functions][] <table> <tbody> <tr> <td style="width:197p
[(102条消息) 深度学习\_损失函数(MSE、MAE、SmoothL1\_loss...)\_Xiaobai\_rabbit0的博客-CSDN博客\_mse损失函数][10
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒
为了训练模型，我们需要一种可降低模型损失的好方法。迭代方法是一种广泛用于降低损失的方法。 一、迭代方法： 一种迭代试错，优化模型的方法 机器学习算法用于训练模型的迭代试错（
两个实验练习 优化学习速率 学习了[梯度下降][Link 1]和[学习效率][Link 2]这两节内容后。原网站有一个简单的通过梯度下降对学习效率的影响的小实验。
降低损失 (Reducing Loss)：随机梯度下降法 [外网原文链接地址][Link 1] 在梯度下降法中，批量指的是用于在单次迭代中计算梯度的样本总数。到目前为止
降低损失 (Reducing Loss)：学习速率 正如之前所述，梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习速率（有时也称为步长）的标量，以确定下一个点
降低损失 (Reducing Loss)：梯度下降法 [外网原文及视频教程链接][Link 1][https://developers.google.com/machin
降低损失：迭代方法 [上一单元][Link 1]介绍了损失的概念。在本单元中，您将了解机器学习模型如何以迭代方式降低损失。 迭代学习可能会让您想到“[Hot and C
秒速五厘米
我就是我
柔情只为你懂
怼烎@
还没有评论，来说两句吧...