SSD目标检测:tensorflow 版本调试以及出现错误的解决方法

本是古典何须时尚 2021-12-18 07:41 638阅读 0赞

**这里分享一下我在进行复现目标检测算法 SSD-Tensorflow 版本的调试经验。**  
首先贴上论文链接：[SSD: Single Shot MultiBoxDetector][SSD_ Single Shot MultiBoxDetector]  
Tensorflow 版本的Code Link：[SSD-TF版][SSD-TF]

# 1 调试过程 #

## 1.1 明确代码结构 ##

这里使用的 SSD-Tensorflow 版本有明晰的结构，在github的ReadMe部分也可以清晰的看懂但是有一些细节需要提示一下。【注意：全文均在Linux上进行程序实验，如果是Windows系统也可以借鉴一般来讲Window系统跑程序比在Linux简单，主要我们熟悉】  
首先来看下下载的代码结构：

![代码结构][20190702213702154.png]  
由以上结构可以很明显的看清楚每个文件夹是做什么的，这里我们主要进行调试的部分是红色箭头指的部分。当然还有一些数据预处理部分。

### 1.1.1 数据格式 ###

数据要转变为 Pascal VOC 数据的格式，因为程序里已经写好了VOC数据对应的预处理代码，我们就可以直接对我们自己的数据进行转化为 VOC 数据格式，具体可以看下图:  
![训练/测试数据存放文件结构][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NzUwNDYx_size_16_color_FFFFFF_t_70]  
一个原生的数据集如何变成这样的格式，可以自行搜索，其实很简单，主要是搞清楚这个格式每个文件夹以及文件有什么用处【如上图，我有标注，有不懂的，欢迎讨论】。

### 1.1.2 数据转换为 TFRecord 格式 ###

这个步骤主要是对应代码中的 【tf\_convert\_data.py】在转换格式的时候。  
1 我们首先要改变【pascalvoc\_common.py】中的一些代码，改变如下：  
![pascal\_common.py改变部分][pascal_common.py]  
有人会比较疑惑，我的数据集是 \*.jpg 后缀结尾的，这里需不需要改，答案是不需要，因为在TFRecord  
生成图像数据的时候只可以解码 JPEG, PNG, GIF, or BMP格式的， \*.jpg结尾的属于JPEG格式，所以这里不用改。 ![pascal\_common.py争议部分][pascal_common.py 1]  
2 然后再说一下 【pascalvoc\_2012.py】和 【pascalvoc\_2007.py】这两个代码打开后发现其实是类似的，不同的是，VOC2012 和 VOC2007 的 VOC\_LABELS 和 VOC\_NUM不同，作者可能将测试的数据放入了，【pascalvoc\_2007.py】，在我们进行处理的时候，可以在任意一个文件下建立我们的数据字典。我的实验就是放在 2012下做的。将里面的 TRAIN/TEST\_STATISTICS 对应生成自己的就行。然后再修改一下 NUM\_CLASSES。  
3 最后在SSD-Tensorflow-master文件夹下创建tf\_conver\_data.sh,文件写入内容如下：

DATASET_DIR=./Your Dataset_Dir/     #数据保存的文件夹（保持与VOC的目录格式相同）  
    OUTPUT_DIR=./tfrecords  #自己建立的保存tfrecords数据的文件夹       
    python ./tf_convert_data.py \     
      --dataset_name=pascalvoc \         
      --dataset_dir=${DATASET_DIR} \   
      --output_name=*_train \ #这里可以自定义为自己的训练数据名字
      --output_dir=${OUTPUT_DIR}

4 然后修改 sh 文件的可执行权限 chmod a+x tf\_conver\_data.sh, 运行 ./tf\_conver\_data.sh 就可以得到 tfrecord 格式的数据。

![运行图例][20190703145832996.png]

## 1.2 开始训练 ##

### 1.2.1 修改 train\_ssd\_network.py ###

![修改][20190703150211555.png]  
![修改][20190703150321539.png]  
其他的可以结合自己情况酌情修改，  
另外还有在 ssd\_vgg\_\*.py 中的参数部分要将 num\_classes，以及 no\_annotation\_label 改为种类数+1  
只修改这两处就可以跑起来程序。

### 1.2.2 建立 train\_ssd\_network.sh ###

DATASET_DIR=./tfrecords/
    TRAIN_DIR=./train_model/
    CHECKPOINT_PATH=./checkpoints/vgg_16.ckpt
    python ./train_ssd_network.py \
    --train_dir=./train_model/ \ #训练生成模型的存放路径
    --dataset_dir=./tfrecords_/ \ #数据存放路径
    --dataset_name=pascalvoc_2012 \ #数据名的前缀
    --dataset_split_name=train \
    --model_name=ssd_300_vgg \ #加载的模型的名字
    --checkpoint_path=./checkpoints/vgg_16.ckpt \ #所加载模型的路径
    --checkpoint_model_scope=vgg_16 \ #所加载模型里面的作用域名
    --checkpoint_exclude_scopes=ssd_300_vgg/conv6,ssd_300_vgg/conv7,ssd_300_vgg/block8,ssd_300_vgg/block9,ssd_300_vgg/block10,ssd_300_vgg/block11,ssd_300_vgg/block4_box,ssd_300_vgg/block7_box,ssd_300_vgg/block8_box,ssd_300_vgg/block9_box,ssd_300_vgg/block10_box,ssd_300_vgg/block11_box \
    --trainable_scopes=ssd_300_vgg/conv6,ssd_300_vgg/conv7,ssd_300_vgg/block8,ssd_300_vgg/block9,ssd_300_vgg/block10,ssd_300_vgg/block11,ssd_300_vgg/block4_box,ssd_300_vgg/block7_box,ssd_300_vgg/block8_box,ssd_300_vgg/block9_box,ssd_300_vgg/block10_box,ssd_300_vgg/block11_box \
    --save_summaries_secs=60 \ #每60s保存一下日志
    --save_interval_secs=600 \ #每600s保存一下模型
    --weight_decay=0.0005 \ #正则化的权值衰减的系数
    --optimizer=adam \ #选取的最优化函数
    --learning_rate=0.001 \ #学习率
    --learning_rate_decay_factor=0.94 \ #学习率的衰减因子
    --batch_size=24 \
    --gpu_memory_fraction=0.9 #指定占用gpu内存的百分比

然后 修改 sh 文件的可执行权限 chmod a+x train\_ssd\_network.sh  
就可以运行起来：  
![运行截图][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NzUwNDYx_size_16_color_FFFFFF_t_70 1]

# 调试异常以及解决方案 #

## 1 InvalidArgumentError (see above for traceback): Default MaxPoolingOp only supports NHWC on device type CPU\[\[Node: ssd\_300\_vgg/pool1/MaxPool = MaxPoolT=DT\_FLOAT, data\_format=“NCHW”, ksize=\[1, 1, 2, 2\], padding=“SAME”, strides=\[1, 1, 2, 2\], \_device="/job:localhost/replica:0/task:0/device:CPU:0"\]\] ##

解决方法：you can modify the code ‘NCHW’ as ‘NHWC’  
参考链接：[https://github.com/balancap/SSD-Tensorflow/issues/226][https_github.com_balancap_SSD-Tensorflow_issues_226]

## 2 SSD输出mAP时出现TypeError: Can not convert a tuple into a Tensor or Operation ##

解决方法为在eval\_ssd\_network.py文件中添加下面一个函数：

def flatten(x):
        result = []
        for el in x:
             if isinstance(el, tuple):
                   result.extend(flatten(el))
             else:
                   result.append(el)
        return result

然后修改两行代码：

将 eval\_op=list(names\_to\_updates.values())

改为 eval\_op=flatten(list(names\_to\_updates.values()))

注意：共有两行！

## 3 ssd测试mAP的时候出现tensorflow版本问题,问题 \_variable\_v2\_call() got an unexpected keyword argument ‘collections’ ##

这个问题是Tensorflow 版本太高导致的，我原来使用的 1.13.1 的版本不行，换成了 1.10.1就可以了

## 4 All bounding box coordinates must be in \[0.0, 1.0\]: 1.13308 ##

这个很明显是我们的 xml 文件标注有问题。要么就是左上角坐标大于了右上角坐标，要么就是坐标超出了图片的大小。可以使用以下程序进行检测数据集中的问题数据。

def detecXML(xmlPath):
    	file_list=os.listdir(xmlPath)
        count=0
        out_img_wrongCount=0
        lb_b_tr_wrongCount=0
        for file in file_list:
            xml_name=os.path.join(xmlPath,file)
            img_file_path = os.path.join(imgPath, file.split('.')[0] + '.jpg')
            if os.path.exists(xml_name):
                count+=1
                tree = et.parse(xml_name)
                root = tree.getroot()
                 for size in root.findall('size'):
                    width = float(size.find('width').text)
                    height = float(size.find('height').text)
                    depth = float(size.find('depth').text)
                for obj in root.findall('object'):
                    bbox = obj.find('bndbox')
                    bbox_x1 = float(bbox.find('xmin').text)
                    bbox_y1 = float(bbox.find('ymin').text)
                    bbox_x2 = float(bbox.find('xmax').text)
                    bbox_y2 = float(bbox.find('ymax').text)
                    if bbox_x1<0 or bbox_x2>width or bbox_y1<0 or bbox_y2>height:
                        print("-"*20)
                        print("out the img the wrong xml_file is ",xml_name)
                        print("="*20)
                        out_img_wrongCount+=1
                        break
                    if bbox_x1>bbox_x2 or bbox_y1>bbox_y2:
                        print("-" * 20)
                        print("lb beyond tr the wrong xml_file is ", xml_name)
                        print("=" * 20)
                        lb_b_tr_wrongCount += 1
                        break**

## 5 assertion failed: \[Unable to decode bytes as JPEG, PNG, GIF, or BMP\] ##

这是因为图像数据集出了问题，虽然数据集中图片的后缀都是 .jpg 但是有些图片本质上不是 JPEG（或者 PNG, GIF, or BMP）格式的数据造成的，所以这就需要我们把数据的格式统一，这里我是把数据统一为 JPEG格式，下面的代码是检测不合格格式的图片和改写为JPEG格式的脚本。

import imghdr
    import cv2 
    import os
    def detectJPEG(path):
        img_list=os.listdir(path)
        num=0
        count=0
        start=time.time()
        for img_file in img_list:
            img_path=os.path.join(path,img_file)
            if os.path.exists(img_path):
                count+=1
                file_type=imghdr.what(img_path)
                # print(file_type)
                if file_type!='jpeg':
                    num+=1
                    print(num,"the wrong jpg:",img_path,"the wrong type:",file_type)
                    #将不合格的图片读取再写回就行了
                    img = cv2.imread(img_path)
                    cv2.imwrite(
                        os.path.join(path,img_file),
                        img)
                    print("succcess writing",num)
        print("total count:",count,"the wrong:",num,"the time :",time.time()-start)

以上就是我的 SSD-Tensoflow 版本的调试过程，有问题欢迎指出！谢谢！！

[SSD_ Single Shot MultiBoxDetector]: https://arxiv.org/abs/1512.02325
[SSD-TF]: https://github.com/balancap/SSD-Tensorflow
[20190702213702154.png]: /images/20211218/b3f9b6e2dcb2481c9bc302e260f9faa2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NzUwNDYx_size_16_color_FFFFFF_t_70]: /images/20211218/e086b86cd4554a26a377b05a08df2897.png
[pascal_common.py]: /images/20211218/454a7a84b4504ca7a7c5528cce7550c3.png
[pascal_common.py 1]: /images/20211218/e09ba08d680e47b4bc5090323c584ffb.png
[20190703145832996.png]: /images/20211218/7dc73407ea6e4f5db258fa8c416b0de6.png
[20190703150211555.png]: /images/20211218/ae845e9f100e45228340805822e427b5.png
[20190703150321539.png]: /images/20211218/02db6d5d2f8345e1a06bdc9f62aac4eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NzUwNDYx_size_16_color_FFFFFF_t_70 1]: /images/20211218/c0da6a226c894005b459fe54fb40e907.png
[https_github.com_balancap_SSD-Tensorflow_issues_226]: https://github.com/balancap/SSD-Tensorflow/issues/226