PyTorch：模型训练-模型参数parameters

╰半橙微兮° 2022-12-16 15:24 223阅读 0赞

[\-柚子皮-][-_-]

## 获取模型参数的不同方法 ##

1、model.named\_parameters()，迭代打印model.named\_parameters()将会打印每一次迭代元素的名字和param

for name, param in model.named\_parameters():  
    print(name,param.requires\_grad)  
    param.requires\_grad=False

\[`named_parameters`(*prefix: str = ''*, *recurse: bool = True*) → Iterator\[Tuple\[str, torch.Tensor\]\]\]  
2、model.parameters()，迭代打印model.parameters()将会打印每一次迭代元素的param而不会打印名字，这是他和named\_parameters的区别，两者都可以用来改变requires\_grad的属性

for  param in model.parameters():  
    print(param.requires\_grad)  
    param.requires\_grad=False

\[`parameters`(*recurse: bool = True*) → Iterator\[torch.nn.parameter.Parameter\]\]  
3、model.state\_dict().items() 每次迭代打印该选项的话，会打印所有的name和param，但是这里的所有的param都是requires\_grad=False,没有办法改变requires\_grad的属性，所以改变requires\_grad的属性只能通过上面的两种方式。

for name, param in model.state\_dict().items():  
    print(name,param.requires\_grad=True)

## 获取参数个数 ##

def get\_parameter\_number(net):  
    total\_num = sum(p.numel() for p in net.parameters())  
    trainable\_num = sum(p.numel() for p in net.parameters() if p.requires\_grad)  
    return \{'Total': total\_num, 'Trainable': trainable\_num\}

def get\_parameter\_number\_details(net):  
    trainable\_num\_details = \{name: p.numel() for name, p in net.named\_parameters() if p.requires\_grad\}  
    return \{'Trainable': trainable\_num\_details\}

model = DCN(...)  
print(get\_parameter\_number(model))  
print(get\_parameter\_number\_details(model))

Note: torch.[numel][](input) → int     Returns the total number of elements in the input tensor.

## 模型参数初始化 ##

神经网络的初始化是训练流程的重要基础环节，会对模型的性能、收敛性、收敛速度等产生重要的影响。

### 初始化方法 ###

高斯初始化\[TORCH.[RANDN][]\]

pytorch内置的torch.nn.init方法，常用的初始化操作，例如正态分布、均匀分布、xavier初始化、kaiming初始化等都已经实现，可以直接使用。  
nn.init.xavier\_uniform(net1\[0\].weight)

xavier初始化\[`nn.init.``xavier_uniform_`(*tensor*, *gain=1.0*)\]

### 参数声明及初始化 ###

方式1

self.kernel = nn.Parameter(torch.Tensor(num\_pairs, 1))  
nn.init.xavier\_uniform\_(self.kernel)

方式2

route\_weights = nn.Parameter(torch.randn(num\_capsules, num\_route\_nodes, in\_channels, out\_channels))

两种常用的初始化操作

### 使用pytorch内置的torch.nn.init方法 ###

修改nn.Linear默认的均匀分布初始化为正态分布：

self.linear\_layers = nn.ModuleList(  
            \[nn.Linear(hidden\_units\[i\], hidden\_units\[i + 1\]) for i in range(len(hidden\_units) - 1)\])  
        for name, tensor in self.linear\_layers.named\_parameters():  
            if 'weight' in name:  
                nn.init.normal\_(tensor, mean=0, std=init\_std)   \#init\_std=0.0001

\[[https://pytorch.org/docs/stable/\_modules/torch/nn/init.html][https_pytorch.org_docs_stable_modules_torch_nn_init.html]\]

### 更加灵活的初始化借助numpy ###

对于自定义的初始化方法，有时tensor的功能不如numpy强大灵活，故可以借助numpy实现初始化方法，再转换到tensor上使用。  
for layer in net1.modules():  
    if isinstance(layer, nn.Linear): \# 判断是否是线性层  
        param\_shape = layer.weight.shape  
        layer.weight.data = torch.from\_numpy(np.random.normal(0, 0.5, size=param\_shape))   
        \# 定义为均值为 0，方差为 0.5 的正态分布

## 冻结某些层的参数 ##

在加载预训练模型的时候，想冻结前面几层，使其参数在训练过程中不发生变化。  
需要先知道每一层的名字：

net = Network()  
for name, value in net.named\_parameters():  
    print('name: \{0\},\\t grad: \{1\}'.format(name, value.requires\_grad))  
name: cnn.VGG\_16.convolution1\_1.weight, grad: True  
name: cnn.VGG\_16.convolution1\_1.bias, grad: True  
name: cnn.VGG\_16.convolution1\_2.weight, grad: True  
name: cnn.VGG\_16.convolution1\_2.bias, grad: True  
name: cnn.VGG\_16.convolution2\_1.weight, grad: True  
name: cnn.VGG\_16.convolution2\_1.bias, grad: True  
name: cnn.VGG\_16.convolution2\_2.weight, grad: True  
name: cnn.VGG\_16.convolution2\_2.bias, grad: True

后面的True表示该层的参数可训练。

我们定义一个要冻结的层的列表：  
no\_grad = \[  
    'cnn.VGG\_16.convolution1\_1.weight',  
    'cnn.VGG\_16.convolution1\_1.bias',  
    'cnn.VGG\_16.convolution1\_2.weight',  
    'cnn.VGG\_16.convolution1\_2.bias'  
\]

冻结方法如下：  
for name, value in net.named\_parameters():  
    if name in no\_grad:  
        value.requires\_grad = False  
    else:  
        value.requires\_grad = True

冻结后再打印每层的信息：  
name: cnn.VGG\_16.convolution1\_1.weight, grad: False  
name: cnn.VGG\_16.convolution1\_1.bias, grad: False  
name: cnn.VGG\_16.convolution1\_2.weight, grad: False  
name: cnn.VGG\_16.convolution1\_2.bias, grad: False  
name: cnn.VGG\_16.convolution2\_1.weight, grad: True  
name: cnn.VGG\_16.convolution2\_1.bias, grad: True  
name: cnn.VGG\_16.convolution2\_2.weight, grad: True  
name: cnn.VGG\_16.convolution2\_2.bias, grad: True

可以看到前两层的weight和bias的requires\_grad都为False，表示它们不可训练。  
最后在定义优化器时，只对requires\_grad为True的层的参数进行更新。

optimizer = optim.Adam(filter(lambda p: p.requires\_grad, net.parameters()), lr=0.01)

\[https://www.zhihu.com/question/311095447/answer/589307812\]

\[[https://mp.weixin.qq.com/s/o-1XZ3OeyDwZp67EdPHu5g][https_mp.weixin.qq.com_s_o-1XZ3OeyDwZp67EdPHu5g]\]

## 加载内置预训练模型 ##

torchvision.models模块的子模块中包含以下模型：AlexNet、VGG、ResNet、SqueezeNet、DenseNet。  
导入这些模型的方法为：  
import torchvision.models as models  
resnet18 = models.resnet18()  
alexnet = models.alexnet()  
vgg16 = models.vgg16()  
有一个很重要的参数为pretrained，默认为False，表示只导入模型的结构，其中的权重是随机初始化的。  
如果pretrained 为 True，表示导入的是在ImageNet数据集上预训练的模型。  
resnet18 = models.resnet18(pretrained=True)

更多的模型可以查看：https://pytorch-cn.readthedocs.io/zh/latest/torchvision/torchvision-models/

from: [\-柚子皮-][-_-]

ref:

[-_-]: https://me.csdn.net/pipisorry
[numel]: https://pytorch.org/docs/stable/generated/torch.numel.html#torch.numel
[RANDN]: https://pytorch.org/docs/stable/generated/torch.randn.html
[https_pytorch.org_docs_stable_modules_torch_nn_init.html]: https://pytorch.org/docs/stable/_modules/torch/nn/init.html
[https_mp.weixin.qq.com_s_o-1XZ3OeyDwZp67EdPHu5g]: https://mp.weixin.qq.com/s/o-1XZ3OeyDwZp67EdPHu5g