pytorch不同的层设置不同的学习率

客官°小女子只卖身不卖艺 2022-10-23 08:26 151阅读 0赞

import torch
    from torch import nn, optim
    from torch.autograd import Variable
    import numpy as np
    import matplotlib.pyplot as plt
    
    x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],
                        [9.779], [6.182], [7.59], [2.167], [7.042],
                        [10.791], [5.313], [7.997], [3.1]], dtype=np.float32)
    
    y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573],
                        [3.366], [2.596], [2.53], [1.221], [2.827],
                        [3.465], [1.65], [2.904], [1.3]], dtype=np.float32)
    x_train = torch.from_numpy(x_train)
    y_train = torch.from_numpy(y_train)
    
    
    # Linear Regression Model
    class LinearRegression(nn.Module):
        def __init__(self):
            super(LinearRegression, self).__init__()
            self.linear1 = nn.Linear(1, 5)  # input and output is 1 dimension
            self.linear2 = nn.Linear(5, 1)
    
        def forward(self, x):
            out = self.linear1(x)
            out = self.linear2(out)
            return out
    
    
    model = LinearRegression()
    print(model.linear1)
    # 微调：自定义每一层的学习率
    
    # 定义loss和优化函数
    criterion = nn.MSELoss()
    optimizer = optim.SGD(
        [{"params": model.linear1.parameters(), "lr": 0.01},
         {"params": model.linear2.parameters()}],
        lr=0.02)

发表评论取消回复

表情：

评论列表（有 0 条评论，151人围观）

还没有评论，来说两句吧...

相关阅读

相关 PyTorch设置指定层的学习率

PyTorch设置指定层的学习率在使用深度学习进行模型训练时，合理地设置学习率是非常重要的，这可以大幅提高模型的训练速度和精度。PyTorch是一种十分流行的深度学习框架，

矫情吗；*/ 2024年03月26日 20:52/ 0 赞/ 62 阅读

相关 pytorch学习率下降策略

阶段离散下降调整策略：首先“阶段离散”下降调整这个词不是个专有名词，它只是一个形容。符合这种调整策略的方法，一般是step，step学习率下降策略是最为常用的一种

谁践踏了优雅/ 2023年01月10日 01:26/ 0 赞/ 550 阅读

相关 pytorch 动态调整学习率

背景深度炼丹如同炖排骨一般，需要先大火全局加热，紧接着中火炖出营养，最后转小火收汁。本文给出炼丹中的 “火候控制器”-- 学习率的几种调节方法，框架基于 `pytor

淡淡的烟草味﹌/ 2022年12月24日 05:57/ 0 赞/ 182 阅读

相关 Filebeat 根据不同的日志设置不同的索引

> 推荐阅读 > > Helm3（K8S 资源对象管理工具）视频教程：[https://edu.csdn.net/course/detail/32506][https_

短命女/ 2022年12月19日 09:21/ 0 赞/ 260 阅读

相关 pyTorch中的学习率衰减

1 学习率衰减深度学习模型训练过程中，经过一定的epoch之后，模型的性能趋于饱和，此时降低学习率，在小范围内进一步调整模型的参数，可以进一步提升模型的性能。经过多

深碍√TFBOYSˉ_/ 2022年11月21日 03:59/ 0 赞/ 533 阅读

相关 PyTorch的六个学习率调整

本文截取自《PyTorch 模型训练实用教程》，获取全文pdf请点击：https://github.com/tensor-yu/PyTorch\_Tutorial 文章目录

淩亂°似流年/ 2022年10月29日 07:56/ 0 赞/ 271 阅读

相关 pytorch不同的层设置不同的学习率

import torch from torch import nn, optim from torch.autograd import V

客官°小女子只卖身不卖艺/ 2022年10月23日 08:26/ 0 赞/ 152 阅读

相关不同版本pytorch训的模型之间的转化

写在开头: 本文仅记录自己遇到的问题，方便之后查阅。最近用不同版本的pytorch训了一些模型，但使用pytorch1.3加载pytorch1.6训练的模型失败，显示

悠悠/ 2022年10月22日 13:55/ 0 赞/ 293 阅读

相关比较不同的单元格的值,设置不同的颜色

Sub SetDifferentColor() ' ' 比较不同的单元格的值,设置不同的颜色 ' Dim colors

灰太狼/ 2022年09月22日 01:15/ 0 赞/ 173 阅读

相关《软件设计的哲学》(八)【不同的层，不同的抽象】

第 7 章不同的层，不同的抽象 > Chapter 7 Different Layer, Different Abstraction Software systems

深碍√TFBOYSˉ_/ 2021年07月04日 13:33/ 0 赞/ 351 阅读