PyTorch深度学习入门深度学习基础 2.2 线性回归 3. 优化

不念不忘少年蓝@ 2024-03-27 17:19 85阅读 0赞

#### PyTorch深度学习入门 ####

![在这里插入图片描述][9b7167ea0ec342e59eaa8acb01e76480.png_pic_center]

##### 深度学习基础 #####

##### 2.2 线性回归 #####

###### 3. 优化 ######

为了使得损失函数 L L L 的值降到最小，开始调整参数  ( w 1 , w 0 ) (w\_1,w\_0) (w1,w0) 的值。这个过程称为优化。

一个拥有两个自变量的函数，画出来的图形是一个三维的图像。

【梯度下降】

从数学上看，梯度是一个向量，可以用符号  ∇ \\nabla ∇ 表示，是函数对每个自变量的偏微分：  
 ∇ L = ( ∂ L ∂ w 1 , ∂ L ∂ w 0 ) \\nabla L=\\left(\\frac\{\\partial L\}\{\\partial w\_1\}, \\frac\{\\partial L\}\{\\partial w\_0\}\\right) ∇L=(∂w1∂L,∂w0∂L)

这个向量代表着函数增长速度最快的方向，如果我们朝着这个梯度向量的反方向走，最终就可以到达“谷底”【最低点】。

假设出一种二维的情况

假设t 时刻的参数  w t w^t wt 在最低点的右侧，

![在这里插入图片描述][6984e206f73e4ad5829f99be950c34b8.png_pic_center]

此时 w t w^t wt 处的导数值  d L d w \\frac\{\\mathrm\{d\} L\}\{\\mathrm\{~d\} w\} dwdL 大于0， w t w^t wt 需要往数轴的左方移动才能使得函数 L ( w ) L(w) L(w) 的函数值最小。

使用如下公式进行更新：  
 w t + 1 = w t − d L d w t × δ ( δ > 0 ) w^\{t+1\}=w^t-\\frac\{\\mathrm\{d\} L\}\{\\mathrm\{~d\} w^t\} \\times \\delta \\quad(\\delta>0) wt\+1=wt−dwtdL×δ(δ>0)

δ \\delta δ 是一个预设值，它越大， w t w^t wt 就会下降得越快，我们称之为学习率。

OK，回到二维的  L ( w 1 , w 0 ) L(w\_1,w\_0) L(w1,w0) 的问题，可以得到

w 1 t + 1 = w 1 t − ∂ L ∂ w 1 t × δ w 0 t + 1 = w 0 t − ∂ L ∂ w 0 t × δ \\begin\{aligned\} & w\_1^\{t+1\}=w\_1^t-\\frac\{\\partial L\}\{\\partial w\_1^t\} \\times \\delta \\\\ & w\_0^\{t+1\}=w\_0^t-\\frac\{\\partial L\}\{\\partial w\_0^t\} \\times \\delta \\end\{aligned\} w1t\+1=w1t−∂w1t∂L×δw0t\+1=w0t−∂w0t∂L×δ

把 ( w 1 , w 0 ) (w\_1,w\_0) (w1,w0) 看成向量  w ⃗ \\vec\{w\} w ，上面两个式子就可以合并简写为：

w ⃗ t + 1 = w ⃗ t − ∇ L ( w ⃗ t ) × δ \\vec\{w\}^\{t+1\}=\\vec\{w\}^t-\\nabla L\\left(\\vec\{w\}^t\\right) \\times \\delta wt\+1=wt−∇L(wt)×δ

在PyTorch 中， ∇ L ( w ⃗ t ) \\nabla L\\left(\\vec\{w\}^t\\right) ∇L(wt) 的值可以直接由自动微分计算得到。

[9b7167ea0ec342e59eaa8acb01e76480.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/46f8978d6c80482dafda60efd8a290ea.png
[6984e206f73e4ad5829f99be950c34b8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cb3537296f98488498917a08e434e9c5.png