SSD(Single Shot MultiBox Detector):ubuntu16安装及训练自己的数据集(VOC2007格式)过程记录

淩亂°似流年 2022-06-17 02:43 195阅读 0赞

# 安装SSD #

# SSD代码clone到 caffe-ssd文件夹下
    git clone --recursive https://github.com/weiliu89/caffe.git caffe-ssd
    cd caffe-ssd
    # 选择ssd分支
    git checkout ssd

# 编译caffe #

对于一个新的ubuntu系统，编译caffe需要安装相应依赖库，如果你成功编译过caffe和faster rcnn，就不需要再安装，这里略过。  
关于编译caffe和faster rcnn的详细过程参见我之前博客[《Ubuntu16:cmake生成Makefile编译caffe过程(OpenBLAS/CPU+GPU)》][Ubuntu16_cmake_Makefile_caffe_OpenBLAS_CPU_GPU]和[《cuda8+cuDNN Faster R-CNN安装塈运行demo》][cuda8_cuDNN Faster R-CNN_demo]

$cd caffe-ssd
    #如果没有cmake，要安装cmake
    #$sudo apt-get install cmake
    mkdir build && cd build
    # 执行cmake生成Makefile
    #编译CPU版本
    #cmake -DCPU_ONLY=ON -DBLAS=Open .
    #编译GPU版本
    $cmake -DBLAS=Open -DCUDA_NVCC_FLAGS=--Wno-deprecated-gpu-targets ..
    $make -j 8

# 下载预训练模型 #

下载预训练模型VGG\_ILSVRC\_16\_layers\_fc\_reduced.caffemodel，放在 ./models/VGGNet/路径

> 下载地址  
> [https://gist.github.com/weiliu89/2ed6e13bfd5b57cf81d6][https_gist.github.com_weiliu89_2ed6e13bfd5b57cf81d6]

# 训练数据准备 #

我的训练数据集是按VOC2007格式生成的，为了最少修改ssd的代码，我的做法是用我自己的VOC2007数据集替换SSD训练用的VOC2007和VOC2012数据集。  
在$home下创建一个data文件

cd ~
    mkdir data
    mkdir data/VOCdevkit
    mkdir data/VOCdevkit/VOC2007

将自己的数据集复制在 VOC2007

> ll VOC2007  
> drwxrwxr-x 6 guyadong guyadong 4096 4月 14 09:19 ./  
> drwxr-xr-x 3 guyadong guyadong 4096 4月 14 09:01 ../  
> drwxrwxr-x 2 guyadong guyadong 3846144 4月 13 17:14 Annotations/  
> drwxrwxr-x 3 guyadong guyadong 4096 4月 13 17:14 ImageSets/  
> drwxrwxr-x 2 guyadong guyadong 3809280 4月 13 17:14 JPEGImages/

在examples文件夹下创建VOC2007文件夹

cd caffe-ssd
    mkdir examples/VOC2007

（请注意VOC2007这个名字，你可以不使用这个名字，但如果你要使用别的名字，请注意本文后面所有涉及VOC2007的地方都必须换成同样的名字）

# 修改lmdb生成脚本 #

复制data/VOC0712文件为VOC2007

cd caffe-ssd/data
     cp -r VOC0712 VOC2007

修改caffe-ssd/data/VOC2007/create\_list.sh如下  
create\_list.sh

#!/bin/bash
    
    root_dir=$HOME/data/VOCdevkit/
    sub_dir=ImageSets/Main
    bash_dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
    for dataset in trainval test
    do
      dst_file=$bash_dir/$dataset.txt
      if [ -f $dst_file ]
      then
        rm -f $dst_file
      fi
      for name in VOC2007
      do
        #if [[ $dataset == "test" && $name == "VOC2012" ]]
        #then
        #  continue
        #fi
        echo "Create list for $name $dataset..."
        dataset_file=$root_dir/$name/$sub_dir/$dataset.txt
    
        img_file=$bash_dir/$dataset"_img.txt"
        cp $dataset_file $img_file
        sed -i "s/^/$name\/JPEGImages\//g" $img_file
        sed -i "s/$/.jpg/g" $img_file
    
        label_file=$bash_dir/$dataset"_label.txt"
        cp $dataset_file $label_file
        sed -i "s/^/$name\/Annotations\//g" $label_file
        sed -i "s/$/.xml/g" $label_file
    
        paste -d' ' $img_file $label_file >> $dst_file
    
        rm -f $label_file
        rm -f $img_file
      done
    
      # Generate image name and size infomation.
      if [ $dataset == "test" ]
      then
        $bash_dir/../../build/tools/get_image_size $root_dir $dst_file $bash_dir/$dataset"_name_size.txt"
      fi
    
      # Shuffle trainval file.
      if [ $dataset == "trainval" ]
      then
        rand_file=$dst_file.random
        cat $dst_file | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);' > $rand_file
        mv $rand_file $dst_file
      fi
    done

下图是create\_list.sh修改后版本与原版本的比对  
![这里写图片描述][SouthEast]  
修改caffe-ssd/data/VOC2007/create\_data.sh如下：  
create\_data.sh

cur_dir=$(cd $( dirname ${BASH_SOURCE[0]} ) && pwd )
    root_dir=$cur_dir/../..
    
    cd $root_dir
    
    redo=1
    data_root_dir="$HOME/data/VOCdevkit"
    dataset_name="VOC2007"
    mapfile="$root_dir/data/$dataset_name/labelmap_voc.prototxt"
    anno_type="detection"
    db="lmdb"
    min_dim=0
    max_dim=0
    width=0
    height=0
    
    extra_cmd="--encode-type=jpg --encoded"
    if [ $redo ]
    then
      extra_cmd="$extra_cmd --redo"
    fi
    for subset in test trainval
    do
      python $root_dir/scripts/create_annoset.py --anno-type=$anno_type --label-map-file=$mapfile --min-dim=$min_dim --max-dim=$max_dim --resize-width=$width --resize-height=$height --check-label $extra_cmd $data_root_dir $root_dir/data/$dataset_name/$subset.txt $data_root_dir/$dataset_name/$db/$dataset_name"_"$subset"_"$db examples/$dataset_name
    done

下图是create\_data.sh修改后版本与原版本的比对  
![这里写图片描述][SouthEast 1]  
labelmap\_voc.prototxt用于定义标签(label)，所以还要  
根据你的目标检测要求修改`caffe-ssd/data/VOC2007/labelmap_voc.prototxt，`比如我的项目中是检测人脸，我的labelmap\_voc.prototxt定义如下（label 0固定定义为背景）：  
labelmap\_voc.prototxt

item {
      name: "none_of_the_above"
      label: 0
      display_name: "background"
    }
    item {
      name: "face"
      label: 1
      display_name: "face"
    }

# 修改训练脚本 #

用vim或gedit等文本编辑器打开 `caffe-ssd/examples/ssd/ssd_pascal.py`,将代码中所有的`VOC0712`替换为`VOC2007`，并保存文件，  
找到`num_classes = 21`这一行，将数字改为1 + 类别数  
![这里写图片描述][SouthEast 2]  
找到`num_test_image = 4952` 将数字改为你测试集(test.txt)的数量  
![这里写图片描述][SouthEast 3]  
另外， 如果你只有一个GPU, 需要修改ssd\_pascal.py ，找到`gpus = "0,1,2,3”`这一行改为 `gpus = "0”`，如果有两块GPU，则改为`gpus = "0,1”`，依此类推。  
![这里写图片描述][SouthEast 4]

# 修改测试脚本 #

打开`caffe-ssd/examples/ssd/ssd_pascal_webcam.py`  
将代码中所有的`VOC0712`替换为`VOC2007`  
找到`num_classes = 21`这一行，将数字改为1 + 类别数

![这里写图片描述][SouthEast 5]

# 执行训练代码 #

修改完成后开始运行训练代码

python ./examples/ssd/ssd_pascal.py

# out of memory #

训练过程可能比较漫长，如果训练过程出现out of memory错误，说明你的显卡显存不够，可以调整ssd\_pascal.py中的来解决：找到`batch_size = 32`这一行，减少这个数字试试。  
比如我的显卡GTX1060显存是6G,改为`batch_size = 8`才能进行训练。  
![这里写图片描述][SouthEast 4]

\#参考资料  
[《SSD安装及训练自己的数据集》][SSD]

[Ubuntu16_cmake_Makefile_caffe_OpenBLAS_CPU_GPU]: http://blog.csdn.net/10km/article/details/61619573
[cuda8_cuDNN Faster R-CNN_demo]: http://blog.csdn.net/10km/article/details/62044045
[https_gist.github.com_weiliu89_2ed6e13bfd5b57cf81d6]: https://gist.github.com/weiliu89/2ed6e13bfd5b57cf81d6
[SouthEast]: /images/20220617/ed5d23ee3e03443c9a8a0ceecd2286e5.png
[SouthEast 1]: /images/20220617/cd39e90658af45a8bd405823e45a3123.png
[SouthEast 2]: /images/20220617/b47bc541d4494776ad15a52f25f425c4.png
[SouthEast 3]: /images/20220617/b5becc74f53c47f7b6ad880af35f48bd.png
[SouthEast 4]: /images/20220617/eb46a8ea98a64753927b07c4bdba1187.png
[SouthEast 5]: /images/20220617/6c30bf88752b4e83bef97a2cbdadd8df.png
[SSD]: http://blog.csdn.net/zhang_shuai12/article/details/52346878