【YOLOV3-keras-MAP】YOLOV3-keras版本的mAP计算

我不是女神ヾ 2022-02-15 18:51 296阅读 0赞

# 前言 #

为表示尊敬，先贴出来两位大神的源码地址：

YOLOV3keras实现地址：[https://github.com/qqwweee/keras-yolo3][https_github.com_qqwweee_keras-yolo3]

MAP计算：[https://github.com/Cartucho/mAP][https_github.com_Cartucho_mAP]

本篇文章用到的数据是博主之前的文章[《【YOLO初探】之 keras-yolov3训练自己数据集》][YOLO_ keras-yolov3]的数据，测试也用的是那篇文章训练好的权重文件。用了230图片做了个数据集，20张用来测试。效果非常好，感叹YOLO大法好！

本文的内容主要是如何计算MAP，什么是MAP，请查看博主的[《目标检测问题中的-MAP》][-MAP]，这里不再赘述！

测试下作者数据

下载好[https://github.com/Cartucho/mAP][https_github.com_Cartucho_mAP]文件以后，解压，运行 main.py,接下来就是“劈里啪啦”见证奇迹的时刻了：

运行结果保存在了当前目录下的'./results'文件夹中

> ======================= RESTART: G:\\mAP-master\\main.py =======================  
> 22.73% = backpack AP   
> 85.94% = bed AP   
> 17.52% = book AP   
> 14.29% = bookcase AP   
> 23.48% = bottle AP   
> 31.86% = bowl AP   
> 7.93% = cabinetry AP   
> 53.84% = chair AP   
> 4.55% = coffeetable AP   
> 19.05% = countertop AP   
> 42.50% = cup AP   
> 39.66% = diningtable AP   
> 0.00% = doll AP   
> 20.69% = door AP   
> 7.69% = heater AP   
> 71.43% = nightstand AP   
> 42.86% = person AP   
> 17.71% = pictureframe AP   
> 13.01% = pillow AP   
> 62.31% = pottedplant AP   
> 73.21% = remote AP   
> 0.00% = shelf AP   
> 16.33% = sink AP   
> 90.48% = sofa AP   
> 1.39% = tap AP   
> 0.00% = tincan AP   
> 63.25% = tvmonitor AP   
> 18.75% = vase AP   
> 45.45% = wastecontainer AP   
> 23.53% = windowblind AP   
> mAP = 31.05%

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1][]

详细的内容我就不再贴了。

# 如何计算自己MAP #

主要分为下面几个部分

（1）训练好自己的权重文件，测试，并将测试结果保存下来

（2）准备计算MAP需要detection-results，ground-truth、images-optional

（3）运行main.py即可

至于第一步中如何将测试结果保存下来，我在文章《[【yoloV3-keras】 keras-yolov3 进行批量测试 并 保存结果][yoloV3-keras_ keras-yolov3 _ _]》中介绍过，大家只需要稍作修改即可。第三个文件夹里面存放的是用于测试的图片，拷贝过来就行了！

下面主要介绍如何制作前两个夹的内容。

# 制作detection-results #

detection-results文件夹里面放的测试结果，要求将每一章图片的测试结果存放为一个txt文件。例如0001.jpg图片的检测结果保存为0001.txt。文件的内容格式是：

>     mouth 0.8330048 135 400 221 435
>     nose 0.95975435 132 339 227 382
>     eye 0.50498945 208 269 286 302
>     eye 0.5545531 78 269 154 302

> 格式是：<classname> score left top right bottom

注意一点，如果有一张图片没有检测出来任何对象，那就保存一个空的txt文件，里面什么也不要放，空格也不要有！

### **那么，最重要的来了， 怎么制作呢？** ###

下面我以我检测五官的例子说明一下，主要就是切分一下检测结果。

第一步，得到检测结，参考《[【yoloV3-keras】 keras-yolov3 进行批量测试 并 保存结果][yoloV3-keras_ keras-yolov3 _ _]》，保存为下面的格式：

>     ....
>     0020.jpg mouth 0.8330048 135 400 221 435;nose 0.95975435 132 339 227 382;eye 0.50498945 208 269 286 302
>     0023.jpg 
>     0095.jpg mouth 0.39444664 95 193 163 217;eye 0.800155 147 95 194 118;eye 0.8897199 48 95 94 118;
>     0098.jpg mouth 0.5349527 56 111 89 126;nose 0.95203125 59 94 87 107;eye 0.4589847 84 79 103 87;eye 0.4944123 45 77 64 
>     ...

第二步，对上面的txt文件进行切割，分别保存就行了，大家可以参看一下我的：

for i in range(len(s)):#中按行存放的检测内容，为列表的形式
        r = s[i].split('.jpg ')
        file = open(result_path+r[0]+'.txt', 'w')
        if len(r[1])>5:
            t = r[1].split(';')
            #print('len(t):',len(t))
            if len(t) == 3:
                file.write(t[0]+'\n'+t[1]+'\n') #有两个对象被检测出
            elif len(t) == 4:
                file.write(t[0] + '\n' + t[1] + '\n' + t[2] +'\n')  # 有三个对象被检测出
            elif len(t) == 5:
                file.write(t[0] + '\n' + t[1] + '\n' +t[2] + '\n' +t[3] + '\n')  # 有四个对象被检测出
            elif len(t) == 6:
                file.write(t[0] + '\n' + t[1] +'\n' + t[2] + '\n' +t[3] +'\n' + t[4] +'\n')  # 有五个对象被检测出
            elif len(t) == 7:
                file.write(t[0] + '\n' + t[1] + '\n' +t[2] + '\n' +t[3] + '\n' +t[4] + '\n' +t[5] + '\n')  # 有六个对象被检测出
    
            else:
                file.write(t[0]+'\n') #有一个对象
        else:
            file.write('') #没有检测出来对象，创建一个空白的对象

就这就能得到上面要求的detection-results格式的文件。

# 制作ground-truth #

ground-truth中的文件的要求和detection-results格式是一样的，就是少了score项。

制作ground-truth的方法和上面方法是一样的，不同的是，我们需要的获得测试图片的图片名，我们可以从我们制作的数据集...\\VOCdevkit\\VOC2007\\ImageSets\\Main\\test.txt里面得到，也可以从用voc\_annotation.py产生的test.txt.

我选择的是voc\_annotation.py产生的test.txt，因为里面已经从我们标记的XML文件中读取出来标记信息了！test.txt格式如下：

>     ...
>     G:\face_five/VOCdevkit/VOC2007/JPEGImages/0086.jpg 59,244,133,275,0 196,244,258,272,0 115,312,213,360,1 113,382,218,413,2
>     G:\face_five/VOCdevkit/VOC2007/JPEGImages/0093.jpg 61,205,140,235,0 197,201,271,237,0 120,268,213,321,1 120,340,231,376,2
>     G:\face_five/VOCdevkit/VOC2007/JPEGImages/0095.jpg 46,96,99,121,0 148,94,199,115,0 89,144,158,182,1 82,194,171,226,2
>     G:\face_five/VOCdevkit/VOC2007/JPEGImages/0098.jpg 44,77,64,86,0 82,79,101,86,0 58,93,88,107,1 51,112,94,128,2
>     G:\face_five/VOCdevkit/VOC2007/JPEGImages/0101.jpg 33,216,92,246,0 146,210,206,237,0 75,265,161,305,1 83,315,178,354,2
>     G:\face_five/VOCdevkit/VOC2007/JPEGImages/0115.jpg 50,89,75,100,0 96,93,119,104,0 66,112,101,128,1 63,131,99,146,2
>     ...

下面就是需要分割了，方法和上面的一样，这就不贴出来了。制作出来的效果如下：

>     eye 86 274 146 305
>     eye 214 273 282 303
>     nose 138 334 220 385
>     mouth 139 404 220 437

# 看下效果 #

下面就直接运行main.py就行了。看一下效果吧。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4][]

> \# AP and precision/recall per class  
> 87.50% = eye AP   
>  Precision: \['1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00'\]  
>  Recall :\['0.03', '0.05', '0.07', '0.10', '0.12', '0.15', '0.17', '0.20', '0.23', '0.25', '0.28', '0.30', '0.33', '0.35', '0.38', '0.40', '0.42', '0.45', '0.47', '0.50', '0.53', '0.55', '0.57', '0.60', '0.62', '0.65', '0.68', '0.70', '0.72', '0.75', '0.78', '0.80', '0.82', '0.85', '0.88'\]
> 
> 90.00% = mouth AP   
>  Precision: \['1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '0.95'\]  
>  Recall :\['0.05', '0.10', '0.15', '0.20', '0.25', '0.30', '0.35', '0.40', '0.45', '0.50', '0.55', '0.60', '0.65', '0.70', '0.75', '0.80', '0.85', '0.90', '0.90'\]
> 
> 85.00% = nose AP   
>  Precision: \['1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00', '1.00'\]  
>  Recall :\['0.05', '0.10', '0.15', '0.20', '0.25', '0.30', '0.35', '0.40', '0.45', '0.50', '0.55', '0.60', '0.65', '0.70', '0.75', '0.80', '0.85'\]
> 
>   
> \# mAP of all classes  
> mAP = 87.50%
> 
> \# Number of ground-truth objects per class  
> eye: 40  
> mouth: 20  
> nose: 20
> 
> \# Number of detected objects per class  
> eye: 35 (tp:35, fp:0)  
> mouth: 19 (tp:18, fp:1)  
> nose: 17 (tp:17, fp:0)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 5][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 7][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 8][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 9][]

欢迎大家留言讨论！

2019.4.24

[https_github.com_qqwweee_keras-yolo3]: https://github.com/qqwweee/keras-yolo3
[https_github.com_Cartucho_mAP]: https://github.com/Cartucho/mAP
[YOLO_ keras-yolov3]: https://blog.csdn.net/plSong_CSDN/article/details/85194719
[-MAP]: https://blog.csdn.net/plSong_CSDN/article/details/89459175
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190424204107377.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1]: /images/20220215/e02ef2dbc7b64cadb093b4a911f6c533.png
[yoloV3-keras_ keras-yolov3 _ _]: https://blog.csdn.net/plSong_CSDN/article/details/89318782
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190424211809672.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190424211809697.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 4]: /images/20220215/e3fa96cb758d4b95b96c2217807a108a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20190424211921345.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 6]: /images/20220215/6d67ebdaa85e40a28da58f3a3464069c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20190424212014588.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20190424212024810.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 9]: /images/20220215/86133064d3c7441abcb9c44bd85fb968.png