cuda 在 torch神经网络中哪些地方可以用？

谁践踏了优雅 2024-02-17 13:19 48阅读 0赞

简言之，3部分：  
1、数据data可以放在GPU上  
2、网络net可以放在GPU上  
3、损失函数loss可以放在GPU上

--------------------

CUDA可以用于在torch神经网络中进行GPU加速计算，包括模型的训练和推理过程。具体来说，可以使用CUDA加速以下操作：

1.  模型参数和输入数据的张量操作。
2.  神经网络前向传播和反向传播算法。
3.  模型的优化器更新。
4.  通过使用CUDA，可以显著提高神经网络的训练和推理速度，从而缩短模型开发的时间，并提高模型的性能。

以下是一个简单的PyTorch神经网络示例，其中包括使用CUDA加速的代码：

import torch
    # 定义神经网络模型
    class Net(torch.nn.Module):
        def __init__(self):
            super(Net, self).__init__()
            self.conv1 = torch.nn.Conv2d(3, 6, 5)
            self.pool = torch.nn.MaxPool2d(2, 2)
            self.conv2 = torch.nn.Conv2d(6, 16, 5)
            self.fc1 = torch.nn.Linear(16 * 5 * 5, 120)
            self.fc2 = torch.nn.Linear(120, 84)
            self.fc3 = torch.nn.Linear(84, 10)
        def forward(self, x):
            x = self.pool(torch.nn.functional.relu(self.conv1(x)))
            x = self.pool(torch.nn.functional.relu(self.conv2(x)))
            x = torch.flatten(x, 1)
            x = torch.nn.functional.relu(self.fc1(x))
            x = torch.nn.functional.relu(self.fc2(x))
            x = self.fc3(x)
            return x
    net = Net()
    # 将模型和数据转移到GPU设备上
    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    net.to(device)
    # 定义损失函数和优化器
    criterion = torch.nn.CrossEntropyLoss()
    optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
    # 训练神经网络
    for epoch in range(10):
        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            inputs, labels = data[0].to(device), data[1].to(device)
            optimizer.zero_grad()
            
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            
            running_loss += loss.item()
            if i % 2000 == 1999:    # 每2000个小批量数据打印一次训练状态
                print('[%d, %5d] loss: %.3f' %
                      (epoch + 1, i + 1, running_loss / 2000))
                running_loss = 0.0
    print("Finished Training")

在这个例子中，我们首先定义了神经网络模型，然后将其移动到可用的GPU设备上。接下来是训练过程，训练时我们从数据加载器中读取数据，并使用CUDA加速输入数据和标签张量的计算。最后，我们使用优化器来更新模型参数，并在每个epoch的末尾打印出损失值。

需要注意的是，在使用CUDA进行GPU加速时，我们需要将模型的所有参数和输入数据都移动到GPU设备上。

> 将损失函数也放在cuda上面

将损失函数也移动到CUDA设备上可以进一步提高计算效率。以下是修改后的代码示例：

import torch
    # 定义神经网络模型
    class Net(torch.nn.Module):
        def __init__(self):
            super(Net, self).__init__()
            self.conv1 = torch.nn.Conv2d(3, 6, 5)
            self.pool = torch.nn.MaxPool2d(2, 2)
            self.conv2 = torch.nn.Conv2d(6, 16, 5)
            self.fc1 = torch.nn.Linear(16 * 5 * 5, 120)
            self.fc2 = torch.nn.Linear(120, 84)
            self.fc3 = torch.nn.Linear(84, 10)
        def forward(self, x):
            x = self.pool(torch.nn.functional.relu(self.conv1(x)))
            x = self.pool(torch.nn.functional.relu(self.conv2(x)))
            x = torch.flatten(x, 1)
            x = torch.nn.functional.relu(self.fc1(x))
            x = torch.nn.functional.relu(self.fc2(x))
            x = self.fc3(x)
            return x
    net = Net()
    # 将模型和数据转移到GPU设备上
    device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
    net.to(device)
    # 将损失函数也移动到GPU设备上
    criterion = torch.nn.CrossEntropyLoss().to(device)
    optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
    # 训练神经网络
    for epoch in range(10):
        running_loss = 0.0
        for i, data in enumerate(trainloader, 0):
            inputs, labels = data[0].to(device), data[1].to(device)
            optimizer.zero_grad()
            
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            
            running_loss += loss.item()
            if i % 2000 == 1999:    # 每2000个小批量数据打印一次训练状态
                print('[%d, %5d] loss: %.3f' %
                      (epoch + 1, i + 1, running_loss / 2000))
                running_loss = 0.0
    print("Finished Training")

在这个例子中，我们将损失函数torch.nn.CrossEntropyLoss移动到可用的CUDA设备上，方法是添加.to(device)。这样，当我们使用该损失函数计算损失值时，PyTorch会在GPU设备上执行相应的计算，从而进一步提高效率。