pytorch学习-数据处理生成batch

- 日理万妓 2021-10-31 16:26 623阅读 0赞

1.  加载数据并生成batch数据
2.  [数据预处理][Link 1]
3.  [构建神经网络][Link 2]
4.  [Tensor和Variable][Tensor_Variable]
5.  [定义loss][loss]
6.  [自动求导][Link 3]
7.  优化器更新参数
8.  [训练神经网络][Link 4]
9.  [参数\_定义][Link 5]
10. [参数\_初始化][Link 6]
11. [如何在训练时固定一些层？][Link 7]
12. 绘制loss和accuracy曲线
13. torch.nn.Container和torch.nn.Module
14. 各层参数及激活值的可视化
15. [保存训练好的模型][Link 8]
16. [如何加载预训练模型][Link 9]
17. [如何使用cuda进行训练][cuda]

# **读取数据生成并构建Dataset子类** #

假设现在已经实现从数据文件中读取输入images和标记labels（列表），那么怎么根据images和labels定义自己的数据集类？答案是作为[torch.utils.data.Dataset][]的子类。

torchvision.datasets中有几个已经定义好的数据集类，这些类都是torch.utils.data.Dataset抽象类的子类：

*  [torchvision.datasets.MNIST类][torchvision.datasets.MNIST]：标签是一维的，不是one-hot稀疏标签。
 *  [torchvision.datasets.CIFAR10][]
 *  [torchvision.datasets.ImageFolder][]  
    …

在定义torch.utils.data.Dataset的子类时，必须重载的两个函数是\_\_len\_\_和\_\_getitem\_\_。\_\_len\_\_返回数据集的大小，\_\_getitem\_\_实现数据集的下标索引，返回对应的图像和标记（不一定非得返回图像和标记，返回元组的长度可以是任意长，这由网络需要的数据决定）。  
在创建DataLoader时会判断\_\_getitem\_\_返回值的数据类型，然后用不同的if/else分支把数据转换成tensor，所以，\_getitem\_返回值的数据类型可选择范围很多，一种可以选择的数据类型是：图像为numpy.array，标记为int数据类型。  
![这里写图片描述][SouthEast]  
示例：

from __future__ import print_function
    import torch.utils.data as data
    import torch
    
    class MyDataset(data.Dataset):
        def __init__(self, images, labels):
            self.images = images
            self.labels = labels
    
        def __getitem__(self, index):#返回的是tensor
            img, target = self.images[index], self.labels[index]
            return img, target
    
        def __len__(self):
            return len(self.images)
    
    dataset = MyDataset(images, labels)

# **生成batch数据** #

现在有了由数据文件生成的结构数据MyDataset，那么怎么在训练时提供batch数据呢？PyTorch提供了生成batch数据的类。

PyTorch用类[torch.utils.data.DataLoader][]加载数据，并对数据进行采样，生成batch迭代器。

`class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=<function default_collate>, pin_memory=False, drop_last=False)`

**参数**：  
dataset：Dataset类型，从其中加载数据  
batch\_size：int，可选。每个batch加载多少样本  
shuffle：bool，可选。为True时表示每个epoch都对数据进行洗牌,对每一个sample进行洗牌，一个batch包含多个sample，一个sample中可能包含多张图片，一个sample就是一个iterm，可以包含一张图片也可以包含多个图片  
sampler：Sampler，可选。从数据集中采样样本的方法。  
num\_workers：int，可选。加载数据时使用多少子进程。默认值为0，表示在主进程中加载数据。  
collate\_fn：callable，可选。  
pin\_memory：bool，可选  
drop\_last：bool，可选。True表示如果最后剩下不完全的batch,丢弃。False表示不丢弃。

**示例**：

kwargs = {
       'num_workers': 1, 'pin_memory': True} if args.cuda else {}
    train_loader = torch.utils.data.DataLoader(
        MyDataset(images, labels), batch_size=args.batch_size, shuffle=True, **kwargs)

**其他用法**：  
`len(train_loader)` ：返回的是len(dataset)/batch\_size

[Link 1]: http://blog.csdn.net/victoriaw/article/details/72822005
[Link 2]: http://blog.csdn.net/VictoriaW/article/details/72356729
[Tensor_Variable]: http://blog.csdn.net/VictoriaW/article/details/72673110
[loss]: http://blog.csdn.net/VictoriaW/article/details/72771033
[Link 3]: http://blog.csdn.net/victoriaw/article/details/72566249
[Link 4]: http://blog.csdn.net/VictoriaW/article/details/73920534
[Link 5]: http://blog.csdn.net/VictoriaW/article/details/72869680
[Link 6]: http://blog.csdn.net/VictoriaW/article/details/72872036
[Link 7]: http://blog.csdn.net/victoriaw/article/details/72779407
[Link 8]: http://blog.csdn.net/VictoriaW/article/details/72840878
[Link 9]: http://blog.csdn.net/VictoriaW/article/details/72821329
[cuda]: http://blog.csdn.net/VictoriaW/article/details/72871777
[torch.utils.data.Dataset]: https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataset.py
[torchvision.datasets.MNIST]: https://github.com/pytorch/vision/blob/master/torchvision/datasets/mnist.py
[torchvision.datasets.CIFAR10]: https://github.com/pytorch/vision/blob/master/torchvision/datasets/cifar.py
[torchvision.datasets.ImageFolder]: https://github.com/pytorch/vision/blob/master/torchvision/datasets/folder.py
[SouthEast]: /images/20211031/49bf28b5ca124b368f2d9dd320d6394a.png
[torch.utils.data.DataLoader]: https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataloader.py