Yolov7训练自己的数据集（超详细教程）

我会带着你远行 2024-04-06 13:14 58阅读 0赞

**目录**

一，准备数据集

1.1 挑选照片

1.2 做标注

二，下载YoloV7

三，划分数据集

四，模型训练

4.1 创建yaml文件

4.2 修改默认参数

4.3 开始训练

五，训练模型遇到的问题

5.1 UnicodeDecodeError: 'gbk' codec can't decode type 0xaf in position 525: illegal multibyte sequence

5.2 subprocess.Called processError: Command 'git tag' returned non-zero exit status 128

六，测试

七，解决标签中文显示问题

--------------------

### 一，准备数据集 ###

#### 1.1 挑选照片 ####

公主做的是缺陷检测方向，没有好办法，只能靠人眼，公主试过用阈值分割法来挑选，但是！如果阈值分割法能准确分离缺陷，就不用用yolo了不是？特别是灰度相近，而且每张照片灰度都不同，背景与缺陷灰度对比度很接近，比如上图中的硌伤~特别是背景有噪声的时候如下图，阈值分割法就直接躺平了~

![6a55fb4c98afda446e724eb4ce1786b3.png][]

![df9203228f4d5047c2548ccfe049b35d.png][]

没办法，从4T的数据里挑出来，挑的公主眼睛都要瞎了~~~

#### 1.2 做标注 ####

公主用的labelImg，大部分做yolo标注都用这个，也是很主流的标注工具，安装方法见公主另一篇[博客][Link 1]。那篇博客标注方法没写全，在这里详细介绍一下：

（1）修改默认标签。公主先只做了一种缺陷，缺陷名称为“硌伤”，因此只写了一种class。在labelImg的安装文件夹中的data/predefined\_classes里面修改class：

![4fb22bb5d1958ba1fe061292026b78d5.png][]

（2）创建images文件夹和labels文件夹，可以放在任意的文件夹下。将挑选出的照片放到images的文件夹中。

![a84640de1cf1de79892ec7a0931f5345.png][]

（3）在cmd中cd到labelImg文件夹下，运行python labelImg命令打开labelImg主页面。或者直接在pycharm的Terminal中打开也行，公主是直接用pycharm的Terminal来运行的。

![e52e92d95107d52d550173e9c13087c1.png][]

（4）在主页面上打开待标注文件，进行标注

![e28ff0cdb98c1be3480a466e97740baf.png][]

labelImg如上图所示。

*   *  第一步先将标注类型改为YOLO，这一步非常关键！
     *  第二部修改Save Dir到之前创建的labels的文件夹
     *  第三步Open Dir，打开之前创建的images文件夹，此时会出现4框中的所有文件
     *  双击想要标注的图像，通过Create RectBox在需要标注的位置画出框，选好标注类型就可以啦~
     *  可以选中View->Auto Save Mode，这样标注完就不用手动点Save了，直接点Next Image跳到下一张即可自动保存。
     *  此时可以看到labels文件夹中多了一个与图像同名的.txt文件，即为标注文件啦！注意，标注与图片是一一对应的！

labels的格式如下：

![605599b10dec1bb7723ae06fd3a291b1.png][]

### 二，下载YoloV7 ###

[下载地址][Link 2]

下载之后的目录结构是这样的：

![d61ea6906808360fd9995fae13ae7210.png][]

### 三，划分数据集 ###

由于公主是一股脑将所有图像放到一起了，由于工业生产的特殊性，临近时间产生的缺陷相似，因此需要随机将图像拆分为训练集，验证集及测试集。

在yolov7-main主文件夹下创建data.py, 并在datasets文件夹下创建defect文件夹，目录结构如下：红框画出的文件是下面代码运行完后自动生成的。

![456fdef5e103aa868c37dca2885bdf12.png][]

公主在[这篇博客][Link 3]的代码基础上修改了一下，同时生成了yolov7需要的目录文件，代码如下：

# 将图片和标注数据按比例切分为 训练集和测试集
    import shutil
    import random
    import os
    
    # 原始路径
    image_original_path = "./mydata/images/"
    label_original_path = "./mydata/label/"
    
    cur_path = os.getcwd()
    
    # 训练集路径
    train_image_path = os.path.join(cur_path, "datasets/defect/images/train/")
    train_label_path = os.path.join(cur_path, "datasets/defect/labels/train/")
    
    # 验证集路径
    val_image_path = os.path.join(cur_path, "datasets/defect/images/val/")
    val_label_path = os.path.join(cur_path, "datasets/defect/labels/val/")
    
    # 测试集路径
    test_image_path = os.path.join(cur_path, "datasets/defect/images/test/")
    test_label_path = os.path.join(cur_path, "datasets/defect/labels/test/")
    
    # 训练集目录
    list_train = os.path.join(cur_path, "datasets/defect/train.txt")
    list_val = os.path.join(cur_path, "datasets/defect/val.txt")
    list_test = os.path.join(cur_path, "datasets/defect/test.txt")
    
    train_percent = 0.6
    val_percent = 0.2
    test_percent = 0.2
    
    
    def del_file(path):
        for i in os.listdir(path):
            file_data = path + "\\" + i
            os.remove(file_data)
    
    
    def mkdir():
        if not os.path.exists(train_image_path):
            os.makedirs(train_image_path)
        else:
            del_file(train_image_path)
        if not os.path.exists(train_label_path):
            os.makedirs(train_label_path)
        else:
            del_file(train_label_path)
    
        if not os.path.exists(val_image_path):
            os.makedirs(val_image_path)
        else:
            del_file(val_image_path)
        if not os.path.exists(val_label_path):
            os.makedirs(val_label_path)
        else:
            del_file(val_label_path)
    
        if not os.path.exists(test_image_path):
            os.makedirs(test_image_path)
        else:
            del_file(test_image_path)
        if not os.path.exists(test_label_path):
            os.makedirs(test_label_path)
        else:
            del_file(test_label_path)
    
    
    def clearfile():
        if os.path.exists(list_train):
            os.remove(list_train)
        if os.path.exists(list_val):
            os.remove(list_val)
        if os.path.exists(list_test):
            os.remove(list_test)
    
    
    def main():
        mkdir()
        clearfile()
    
        file_train = open(list_train, 'w')
        file_val = open(list_val, 'w')
        file_test = open(list_test, 'w')
    
        total_txt = os.listdir(label_original_path)
        num_txt = len(total_txt)
        list_all_txt = range(num_txt)
    
        num_train = int(num_txt * train_percent)
        num_val = int(num_txt * val_percent)
        num_test = num_txt - num_train - num_val
    
        train = random.sample(list_all_txt, num_train)
        # train从list_all_txt取出num_train个元素
        # 所以list_all_txt列表只剩下了这些元素
        val_test = [i for i in list_all_txt if not i in train]
        # 再从val_test取出num_val个元素，val_test剩下的元素就是test
        val = random.sample(val_test, num_val)
    
        print("训练集数目：{}, 验证集数目：{}, 测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
        for i in list_all_txt:
            name = total_txt[i][:-4]
    
            srcImage = image_original_path + name + '.bmp'
            srcLabel = label_original_path + name + ".txt"
    
            if i in train:
                dst_train_Image = train_image_path + name + '.bmp'
                dst_train_Label = train_label_path + name + '.txt'
                shutil.copyfile(srcImage, dst_train_Image)
                shutil.copyfile(srcLabel, dst_train_Label)
                file_train.write(dst_train_Image + '\n')
            elif i in val:
                dst_val_Image = val_image_path + name + '.bmp'
                dst_val_Label = val_label_path + name + '.txt'
                shutil.copyfile(srcImage, dst_val_Image)
                shutil.copyfile(srcLabel, dst_val_Label)
                file_val.write(dst_val_Image + '\n')
            else:
                dst_test_Image = test_image_path + name + '.bmp'
                dst_test_Label = test_label_path + name + '.txt'
                shutil.copyfile(srcImage, dst_test_Image)
                shutil.copyfile(srcLabel, dst_test_Label)
                file_test.write(dst_test_Image + '\n')
    
        file_train.close()
        file_val.close()
        file_test.close()
    
    
    if __name__ == "__main__":
        main()

至此，数据集彻底准备完毕！

CUDA的安装我是参考[这篇博客][Link 4]。

### 四，模型训练 ###

#### 4.1 创建yaml文件 ####

![6ef6d14a8222890bdaab54619bbcb14d.png][]

在data文件夹中创建新的yaml文件，本例中缺陷为硌痕（公主不知道硌痕怎么翻译，长得像气泡，就翻译成了bubble >\_<）。把coco.yaml文件复制过来，根据自己的要求修改。

#### 4.2 修改默认参数 ####

修改train.py中的默认参数，根据自己的情况修改，参数代表的意思可以参考[这篇博客][Link 5]，讲的非常详细。

![0b05ddbc3028a550a0b1c50c80ddc44b.png][]

公主只改了这三个，

*   *  \--data：是必改的。
     *  \--epochs：公主的缺陷类型比较简单，好识别，因此只设了200个epochs，实际上150个左右的时候就差不多收敛了。
     *  \--batch-size：公主的显卡显存不太行，只设了8个。但照片数量少，只有一千张左右，因此速度也不算慢。
     *  \--img-size：本例训练集照片是512\*512的，因此公主使用了默认的\[640 640\]

#### 4.3 开始训练 ####

由于默认参数已经修改了，训练时直接运行命令

![d5e36050e0cdb97422ef105384cb71f4.png][]

即可。

训练时：

![5dc06cd092bf59f4f7a58944d08a7285.png][]

训练完毕会提示：

![fefa497041e7903cac07b3f54dd8f297.png][]

最后一轮迭代的权重文件放在runs\\train\\exp6\\weights\\last.pt中，最好的权重文件放在runs\\train\\exp6\\weights\\bext.pt中。

### 五，训练模型遇到的问题 ###

#### 5.1 UnicodeDecodeError: 'gbk' codec can't decode type 0xaf in position 525: illegal multibyte sequence ####

#### ![905c74a29ec94c7794a4a5b8341dd1bb.png][] ####

查了下原因是python和win10系统，打开文件时默认的编码方式冲突导致：python默认的是gbk，而win10默认的是utf-8，所以只要改一下python打开文件时，默认的编码就行。（PS：开始公主用的官网默认的 --batch-size 32，然后GPU out of memory了，改成16，还是out of memory，最后含泪改成8.截上图的时候还没到out of memory那一步，因此--batch-size还是32）

![6058674d38d648795adcb5af91f58889.png][]

#### 5.2 subprocess.Called processError: Command 'git tag' returned non-zero exit status 128 ####

主要原因是因为request请求访问github被墙，解决方案就是手动下载所需的yolov7.pt权重文件，地址为https://github.com/WongKinYiu/yolov7。下载之后放在主目录下，然后还要把train.py中的权重从yolo7.pt改为yolov7.pt，

### 六，测试 ###

在datasets\\defect中新建一个文件夹testImages。运行detect.py*　　　*

![ae7850b197722cb5b7c6f2a366a38783.png][]

在runs\\defect\\exp2中打开文件查看

![579c70085dfca64a3a79f93291840f4d.png][]

哎呦，标的很准，可是，由于标签是中文，显示乱码“？？？？？”怎么办呢？

### 七，解决标签中文显示问题 ###

为啥显示乱码呢？查了下资料，原来是opencv的cv2.putText()不支持中文。只能重写plots.py里的plot\_one\_box()函数，根据[这篇博客][Link 6]的介绍。将plot\_one\_box重写如下：

def plot_one_box(x, img, color=None, label=None, line_thickness=3):
        # Plots one bounding box on image img
        tl = line_thickness or round(0.002 * (img.shape[0] + img.shape[1]) / 2) + 1  # line/font thickness
        color = color or [random.randint(0, 255) for _ in range(3)]
        c1, c2 = (int(x[0]), int(x[1])), (int(x[2]), int(x[3]))
        cv2.rectangle(img, c1, c2, color, thickness=tl, lineType=cv2.LINE_AA)
        if label:
            tf = max(tl - 1, 1)  # font thickness
            t_size = cv2.getTextSize(label, 0, fontScale=tl / 3, thickness=tf)[0]
            font_size = t_size[1]
            font = ImageFont.truetype(r"D:\YOLOV7\yolov7-main\Font\simsun.ttc", font_size, encoding="utf-8")
            t_size = font.getsize(label)
            c2 = c1[0] + t_size[0], c1[1] - t_size[1]
            cv2.rectangle(img, c1, c2, color, -1, cv2.LINE_AA)  # filled
            img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
            draw = ImageDraw.Draw(img)
            draw.text((c1[0], c2[1]), label, (0, 0, 0), font=font)
            # cv2.putText(img, label, (c1[0], c1[1] - 2), 0, tl / 3, [225, 255, 255], thickness=tf, lineType=cv2.LINE_AA)        
            return cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR)

为了保证多个标签时能都保存下来

detect.py文件，plot\_one\_box(xyxy, im0, ....) 修改为 im0 = plot\_one\_box(xyxy, im0, ...)

![56441493fca42fb9833738577bdb4598.png][]

plots.py文件，plot\_one\_box(box, mosaic,...) 修改为 mosaic = plot\_one\_box(box, mosaic,...)

![bdf45fdcc5b62bb8246c5a04ca59780e.png][]

最后得到结果：

![1e255d4a22f93ee0114cdd66f6e00d34.jpeg][]

完美！！！！！

小插曲：在修改中文标签的时候，想用matplotlib.pyplot.imshow()来打印图片，无奈老是不显示。查了很久才发现是matplotlib.get\_backend是agg，而agg不支持GUI画图。但在terminal里运行print(matplotlib.get\_backend())明明是QtAgg.后来又在程序里打印,仍然是agg。抓狂了很久后才发现，在plots.py中作者写了这句：

![1ca1029c50d442fc9c36af63e3d5f9e3.png][]

太坑了！！！手动改成matplotlib.use('Qt5Agg')，原码是matplotlib.use('Agg')。

PS：本文与[Yolov7训练自己的数据集（超详细） - 玻璃公主 - 博客园][Yolov7_ - _ -]一摸一样，都是公主的博客>\_<

[6a55fb4c98afda446e724eb4ce1786b3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/300b27378c2f43ec8101b5e51a8f33c4.png
[df9203228f4d5047c2548ccfe049b35d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/844fbc1c794e440c910be8ec3159f01c.png
[Link 1]: https://www.cnblogs.com/boligongzhu/p/15109224.html
[4fb22bb5d1958ba1fe061292026b78d5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/71c12696fa504997a294f2d65749204c.png
[a84640de1cf1de79892ec7a0931f5345.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/4cee9c9db0c449a7babe308e96c576ee.png
[e52e92d95107d52d550173e9c13087c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/81ecd8edf2044e1bba4bd2ee85e3e94a.png
[e28ff0cdb98c1be3480a466e97740baf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/b8fad778b95247b9ba78ecb46cc37f7f.png
[605599b10dec1bb7723ae06fd3a291b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/75da548321f344e3a821fb9a0a8baa84.png
[Link 2]: https://github.com/WongKinYiu/yolov7
[d61ea6906808360fd9995fae13ae7210.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/89fcfe3281294010a9f28560cbaab1bb.png
[456fdef5e103aa868c37dca2885bdf12.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3d57521444034920b59941b2d1cd00f4.png
[Link 3]: https://blog.csdn.net/weixin_43687366/article/details/126166982
[Link 4]: https://blog.csdn.net/Elon15/article/details/125678410
[6ef6d14a8222890bdaab54619bbcb14d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/f1ab0a797509424ebd40cd6b4dcf64e4.png
[Link 5]: https://blog.csdn.net/z240626191s/article/details/126500617
[0b05ddbc3028a550a0b1c50c80ddc44b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/859b60d5478d4902ad6b1a6edbd69a69.png
[d5e36050e0cdb97422ef105384cb71f4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/554fca1d30c840dc97520ce938f8b388.png
[5dc06cd092bf59f4f7a58944d08a7285.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/7e1cc8bb4334453e84328e6d0799f4d5.png
[fefa497041e7903cac07b3f54dd8f297.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/fdba791e6d0f43ea9e47f5ecb0f26180.png
[905c74a29ec94c7794a4a5b8341dd1bb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5a0b7a16e0314c4c8abeba725cd709c9.png
[6058674d38d648795adcb5af91f58889.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/2b5e9c29a4f84f468c463b24abebfe67.png
[ae7850b197722cb5b7c6f2a366a38783.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/e0ec9c99ac8e41cead0928e50b0caeb2.png
[579c70085dfca64a3a79f93291840f4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/14ff373523664a6485c32c01e3b98fdd.png
[Link 6]: https://blog.csdn.net/bu_fo/article/details/114668184
[56441493fca42fb9833738577bdb4598.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ce01fc1d87e542efa8e259e533ac3710.png
[bdf45fdcc5b62bb8246c5a04ca59780e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/cf5980b7f92d4868af6ad21da3911fa5.png
[1e255d4a22f93ee0114cdd66f6e00d34.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/79243413fc7c4136abc884e0f914f50d.jpeg
[1ca1029c50d442fc9c36af63e3d5f9e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/055ad8a736e6460ba0c4ee18cf4ec591.png
[Yolov7_ - _ -]: https://www.cnblogs.com/boligongzhu/p/16718242.html