制作自己的分类数据集（一）——将两个数据集按一定比例分成训练集和测试集

你的名字 2022-01-22 08:21 310阅读 0赞

用自己的数据集做分类时，需要做相应的准备，这里先介绍下数据集的准备：

我有两个数据集a、b，里面有相同类型的子文件夹（下图最右边那些），我想将他们合并到一块并按7:3的比例将图片保存到训练集和测试集，目录框架如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70][]

代码实现：

# -*- coding: utf-8 -*-
    """
    Created on Tue Jun  4 21:18:37 2019
    将数据集按7：3划分训练集与测试集
    注：当训练集和数据集中生成一遍数据后不要再用同一原始数据集生成第二遍，否则数据会有重复
    @author: thik
    """
    
    #导入一些进行该操作需要的库
    #import numpy as np
    import os
    import random
    import shutil
    
    #打开放数据的文件夹
    path=r'E:\Tensorflowtext\VOCMaker-master\VOCMaker\VOCMaker\JPEGImages\JpegImage'#原始数据集的路径
    path_a=path+'\Data\\a'
    path_b=path+'\Data\\b'
    data_a=os.listdir(path_a)
    data_b=os.listdir(path_b)
    #listdir该操作（[添加链接描述](https://blog.csdn.net/weixin_40123108/article/details/83340744)）在我的上篇博客中有所介绍，此操作能读取的内容为A01、A02、A03、B01、B02、B03这些文件夹
    #print(data_a,data_b)
    
    #root=path#复制原始数据路径path
    c=[]
    d=[]#创建两个空列表,分别存放待合并的两个文件
    for i in range(len(data_a)):
        c.append(data_a[i])
    #print("C:", c, '\n')
    for j in range(len(data_b)):
        d.append(data_b[j])
    #print("D:", d, '\n')
    
    train_root=path+'\\train'
    val_root=path+'\\val'
    #创建测试、验证文件的子文件
    for i in range(len(c)):
        qqq=os.path.exists(train_root+'/'+c[i]) #如果path存在，返回True；如果path不存在，返回False。 
        if (not qqq):
            os.mkdir(train_root+'/'+c[i])
            qq=os.path.exists(val_root+'/'+c[i])
            if (not qq):
                os.mkdir(val_root+'/'+c[i])
    #a=os.listdir(val_root)
    #b=os.listdir(val_root)
    #print(a)
                
    path1='E:\\Tensorflowtext\\VOCMaker-master\\VOCMaker\\VOCMaker\\JPEGImages\\JpegImage\\'
    path_a1=path1+'Data\\a\\'   
    path_b1=path1+'Data\\b\\'           
    train_root1=path+'\\train\\'
    val_root1=path+'\\val\\'
    
    for i in range(len(c)):
        a=c[i] #读取当前文件的内容  
        data_0=os.listdir(path_a1+a)#读a里的照片
    #print(data_0) 
       
        random.shuffle(data_0)#打乱A中数据
        for j in range(len(d)):
            b=d[j]
            if(a==b):
                data_1=os.listdir(path_b1+b)
    
                random.shuffle(data_1)#打乱b中的数据            
                for z in range(len(data_0)):#将b中的数据按7：3分到train和test中
                    #print('z:', z, '\n')    
                    pic_path=path_a1+a+'/'+data_0[z]
                    #print('pic_path:', pic_path)                  
                    if z<int(len(data_0)*0.7):
                        obj_path=train_root1+a+'/'+data_0[z]
                        #print('train:', obj_path)  
                        #shutil.copyfile(pic_path,obj_path)                                    
                    else:
                        obj_path=val_root1+a+'/'+data_0[z]
                        #print('test:', obj_path) #显示分类情况
                #print(len(data_0),len(data_0)*0.7)
                    if (os.path.exists(pic_path)):
                        shutil.copyfile(pic_path,obj_path) #往train、val中复制图片                
                for z in range(len(data_1)): #将b中的数据按7：3分到train和test中
                    pic_path=path_b1+b+'/'+data_1[z]
                    if z<int(len(data_1)*0.7):
                        obj_path=train_root1+b+'/'+data_1[z]
                        
                    else:
                        obj_path=val_root1+b+'/'+data_1[z]
                        print('test:', obj_path)
                #print(len(data_1),len(data_1)*0.7)
                    if (os.path.exists(pic_path)):
                        shutil.copyfile(pic_path,obj_path)#shutil.copyfile( src, dst) 从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉

详细说明看：

[https://blog.csdn.net/weixin\_40123108/article/details/83347417][https_blog.csdn.net_weixin_40123108_article_details_83347417]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70]: /images/20220122/890d0a58a26a49fb9900e11b19049309.png
[https_blog.csdn.net_weixin_40123108_article_details_83347417]: https://blog.csdn.net/weixin_40123108/article/details/83347417