PyTorch深度学习入门深度学习基础 2.2 线性回归 6. 代码实践

冷不防 2024-03-27 17:43 26阅读 0赞

#### PyTorch深度学习入门 ####

![在这里插入图片描述][b3bf1eea73424fbeb86af86f878fb04e.png_pic_center]

##### 深度学习基础 #####

##### 2.2 线性回归 #####

###### 6. 代码实践 ######

根据数据样本对输入变量和各参数进行初始化：

import torch
    import matplotlib.pyplot as plt
    
    
    def Produce_X(x):
        x0 = torch.ones(x.numpy().size)
        X = torch.stack((x, x0), dim=1)
        return X
    
    
    x = torch.Tensor([1.4, 5, 11, 16, 21])
    y = torch.Tensor([14.4, 29.6, 62, 85.5, 113.4])
    X = Produce_X(x)
    
    inputs = X
    target = y
    w = torch.rand(2, requires_grad=True)

![在这里插入图片描述][57ef916477644ff18807a0648a5554fe.png_pic_center]

构建一个Produce\_x()函数，用来生成矩阵X。x0是根据输入x的维度生成的各元素为1的向量，torch.stack()函数将向量x和x0合并成一个矩阵，X的数据类型为Tensor。

![在这里插入图片描述][fc74b9310f794a3d80d5dad1585558d5.png_pic_center]

向量w 由rand() 函数随机初始化得到。

接下来定义一个train() 函数，用它来不断调整w 的值。

参数解释：

*  epochs：代表轮数，即遍历完所有数据的次数
 *  learning\_rate：学习率

def train(epochs=1, learning_rate=0.01):
        for epoch in range(epochs):
            output = inputs.mv(w)
            loss = (output - target).pow(2).sum()
    
            loss.backward()
            w.data -= learning_rate * w.grad
            w.grad.zero_()
    
            if epoch % 80 == 0:
                draw(output, loss)
    
        return w, loss

首先进行前向传播。公式  y ^ → = X w ⃗ \\overrightarrow\{\\hat\{y\}\}=X \\vec\{w\} y^=Xw 可以转换为代码 output=inputs.mv(w);

根据损失函数公式  L ( w 1 , w 0 ) = ∑ i = 1 5 ( y ^ ( i ) − y ( i ) ) 2 L\\left(w\_1, w\_0\\right)=\\sum\_\{i=1\}^5\\left(\\hat\{y\}^\{(i)\}-y^\{(i)\}\\right)^2 L(w1,w0)=∑i=15(y^(i)−y(i))2, 得到代码 loss  = = = (output  − target ⁡ ) . pow ⁡ ( 2 ) . sum ⁡ ( ) \\left.-\\operatorname\{target\}\\right) . \\operatorname\{pow\}(2) . \\operatorname\{sum\}() −target).pow(2).sum() 。

然后进行反向传播。使用 backward ( ) 函数就能自动求出损失函数关于  w \\mathrm\{w\} w 的梯度向量。

接下来根 据公式  w ⃗ t + 1 = w ⃗ t − ∇ L ( w ⃗ t ) ∗ δ \\vec\{w\}^\{t+1\}=\\vec\{w\}^t-\\nabla L\\left(\\vec\{w\}^t\\right) \* \\delta wt\+1=wt−∇L(wt)∗δ, 使用 w. data  − = -= −= learning\_rate  ∗ w \{ \}^\* \\mathrm\{w\} ∗w.grad 对参数  w \\mathrm\{w\} w 进行更新。

值得注意, 我们更新完  w w w 后, 必须清空  w w w 的 grad 值, 否则 grad 值会持续累加。所以, 这里使用 zero\_() 函数清空梯度值。

为了能够观察到训练的变化, 我们可以让程序每进行 80 次循环更新一次图像。于是定义了一个 draw () 函数:

def draw(output, loss):
        plt.cla()
        plt.scatter(x.numpy(), y.numpy())
        plt.plot(x.numpy(), output.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'loss=%s' % (loss.item()), fontdict={
        'size': 20, 'color': 'red'})
        plt.pause(0.005)

每次更新时, 先用 plt.cla () 函数清空图像画布, 然后用 plt.scatter () 绘制散点图形式的数 据样本点, 接着使用 plt.plot ()绘制出回归直线, 最后使用 plt.text ()打印 loss 值。

我们设轮数为 10000 , 学习率为  1 × 1 0 − 4 1 \\times 10^\{-4\} 1×10−4, 将这两个参数传人  train ⁡ ( \\operatorname\{train\}( train( ) 进行训练后, 返回最终的参数值  w \\mathrm\{w\} w 和损失值 loss:

w, loss = train(10000, learning_rate=1e-4)

接着在循环结束后打印最终的损失值和权重：

w, loss = train(10000, learning_rate=1e-4)
    
    print("final loss: ", loss.item())
    print("weights: ", w.data)

运行结果

![在这里插入图片描述][a16f4d4c3b514564b13ed61a5ee2340d.png_pic_center]

这样我们就通过机器学习找到了这5个数据数据样本的规律。

[b3bf1eea73424fbeb86af86f878fb04e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cd99d57822ff49c39b77da47edb820a3.png
[57ef916477644ff18807a0648a5554fe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e298819aa8174437834b3445f2b8c650.png
[fc74b9310f794a3d80d5dad1585558d5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a50061be54d64fb2abe3f1fa793a2555.png
[a16f4d4c3b514564b13ed61a5ee2340d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/569c001dbf4b4042925b6766572ddf9a.png