torch 网络参数向量化加噪再还原

分手后的思念是犯贱 2023-10-14 13:07 3阅读 0赞

> torch一个深度网络，如何将所有所有参数的里面的所有元素取出变成一个向量

要将所有参数的所有元素取出并变成一个向量，可以使用PyTorch中的parameters()和view()方法来实现。首先，你需要创建一个深度网络，并将其所有参数取出并合并成一个向量。

以下是一个简单的示例，假设我们有一个三层的全连接神经网络：

import torch
    import torch.nn as nn
    
    # 定义深度网络
    class DeepNet(nn.Module):
        def __init__(self):
            super(DeepNet, self).__init__()
            self.fc1 = nn.Linear(256, 128)
            self.fc2 = nn.Linear(128, 64)
            self.fc3 = nn.Linear(64, 10)
    
        def forward(self, x):
            x = torch.relu(self.fc1(x))
            x = torch.relu(self.fc2(x))
            x = self.fc3(x)
            return x
    
    # 创建深度网络实例
    model = DeepNet()
    
    # 将所有参数取出并变成一个向量
    parameters = torch.cat([param.view(-1) for param in model.parameters()])
    
    # 输出合并后的向量
    print(parameters)

在这个示例中，我们定义了一个简单的三层全连接神经网络，并创建了一个DeepNet的实例。然后，我们使用parameters()方法获取所有参数，并通过view(-1)将每个参数张量展平为一维张量，最后使用torch.cat()函数将所有参数的一维张量连接成一个向量。

请注意，深度网络中的参数顺序是按照它们在模型中定义的顺序来排列的，所以合并后的向量也将保持这个顺序。

> 假设现在将上面的向量parameters中的每一个元素上加了一个噪声，现在需要将加了噪声的parameters还原到深度网络的参数中对应的未知，如何操作？

如果现在将带有噪声的参数向量parameters还原到深度网络中，需要将向量重新分解成对应的参数形状，并将还原后的参数加载回深度网络。这可以通过使用PyTorch的view()和copy\_()方法来实现。以下是还原参数的步骤：

从噪声向量中创建一个新的参数张量。  
将噪声参数张量按照深度网络模型中定义的参数形状重新分解。  
将还原后的参数加载回深度网络模型。  
下面是实现上述步骤的代码：

import torch
    import torch.nn as nn
    
    # 假设parameters是带有噪声的向量，即之前处理后的parameters
    
    # 创建深度网络
    class DeepNet(nn.Module):
        def __init__(self):
            super(DeepNet, self).__init__()
            self.fc1 = nn.Linear(256, 128)
            self.fc2 = nn.Linear(128, 64)
            self.fc3 = nn.Linear(64, 10)
    
        def forward(self, x):
            x = torch.relu(self.fc1(x))
            x = torch.relu(self.fc2(x))
            x = self.fc3(x)
            return x
    
    # 创建深度网络实例
    model = DeepNet()
    
    # 获取深度网络的参数形状
    param_shapes = [param.size() for param in model.parameters()]
    
    # 从噪声向量创建新的参数张量
    noisy_params = parameters.clone()
    
    # 还原参数并加载到深度网络
    start_idx = 0
    for i, shape in enumerate(param_shapes):
        # 计算当前参数的元素个数
        num_elements = shape.numel()
        # 从噪声参数中截取当前参数的元素
        current_param = noisy_params[start_idx:start_idx + num_elements]
        # 重新调整形状为当前参数的形状
        current_param = current_param.view(shape)
        # 将还原后的参数加载到深度网络中
        model.parameters().__next__().data.copy_(current_param)
        # 更新起始索引
        start_idx += num_elements
    
    # 现在模型的参数已经还原为带有噪声的参数向量

在上述代码中，我们首先获取深度网络的参数形状，然后从噪声向量noisy\_params中逐个还原并加载回深度网络中。注意，我们使用clone()方法来创建noisy\_params的副本，以确保原始噪声向量不被修改。然后，通过遍历参数形状，我们将噪声向量中的元素重新分解成对应的参数形状，并使用copy\_()方法将还原后的参数加载回深度网络。

> 现在需要将上面两个代码，合成一个代码。即先从DeepNet网络获取参数，变成向量加噪后，再重新加载到DeepNet网络中

好的，我们将上面两个代码合并成一个代码，实现先将DeepNet网络的参数转换成向量，然后在向量上添加噪声，并将加了噪声的向量重新加载回DeepNet网络中。

import torch
    import torch.nn as nn
    
    # 创建深度网络
    class DeepNet(nn.Module):
        def __init__(self):
            super(DeepNet, self).__init__()
            self.fc1 = nn.Linear(256, 128)
            self.fc2 = nn.Linear(128, 64)
            self.fc3 = nn.Linear(64, 10)
    
        def forward(self, x):
            x = torch.relu(self.fc1(x))
            x = torch.relu(self.fc2(x))
            x = self.fc3(x)
            return x
    
    # 创建深度网络实例
    model = DeepNet()
    
    # 获取深度网络的参数形状
    param_shapes = [param.size() for param in model.parameters()]
    
    # 将深度网络参数转换成向量
    parameters = torch.cat([param.view(-1) for param in model.parameters()])
    
    # 添加噪声到参数向量
    noisy_parameters = parameters + torch.randn_like(parameters) * noise_std
    
    # 将加了噪声的向量重新加载回深度网络
    start_idx = 0
    for i, shape in enumerate(param_shapes):
        # 计算当前参数的元素个数
        num_elements = shape.numel()
        # 从噪声参数中截取当前参数的元素
        current_param = noisy_parameters[start_idx:start_idx + num_elements]
        # 重新调整形状为当前参数的形状
        current_param = current_param.view(shape)
        # 将还原后的参数加载到深度网络中
        model.parameters().__next__().data.copy_(current_param)
        # 更新起始索引
        start_idx += num_elements
    
    # 现在模型的参数已经是加了噪声的参数

在这个合并的代码中，我们首先创建了深度网络实例model，然后获取深度网络的参数形状param\_shapes。接着，我们将深度网络的参数通过torch.cat()函数转换成一个向量parameters。然后，我们为向量parameters加上噪声，并得到加了噪声的向量noisy\_parameters。

最后，我们使用类似之前的方法，将加了噪声的向量重新加载回深度网络中，使模型的参数变成带有噪声的参数。这样就完成了将DeepNet网络的参数转换成向量加噪后，再重新加载回DeepNet网络的整个过程。