（详细！！写的贼好，膜拜）SSD论文理解

╰半夏微凉° 2023-02-25 07:25 0阅读 0赞

原文链接：[https://www.cnblogs.com/xuanyuyt/p/7447111.html\#\_label2][https_www.cnblogs.com_xuanyuyt_p_7447111.html_label2]

#  #

[ 深度学习笔记（七）SSD 论文阅读笔记简化 ][_SSD _]

</h1>
            <div class="clear"></div>
            <div class="postBody">

**目录**

*  一. 算法概述
 *  二. Default box
 *  三. 正负样本
 *  四. 网络结构
 *  五. 使用注意

--------------------

### 源码地址：[https://github.com/weiliu89/caffe/tree/ssd][https_github.com_weiliu89_caffe_tree_ssd] ###

### [本文详细版本][Link 1] ###

### [YOLO V3 学习笔记][YOLO V3] ###

回到顶部

# 一. 算法概述 #

> 本文提出的SSD算法是一种直接预测目标类别和 bounding box 的多目标检测算法。与 [faster rcnn][] 相比，该算法没有生成 proposal 的过程，这就极大提高了检测速度。针对不同大小的目标检测，传统的做法是先将图像转换成不同大小（图像金字塔），然后分别检测，最后将结果综合起来（NMS）。而SSD算法则利用不同卷积层的 **feature map **进行综合也能达到同样的效果。算法的主网络结构是VGG16，将最后两个全连接层改成卷积层，并随后增加了4个卷积层来构造网络结构。对其中 5 种不同尺度的feature map 输出分别用两个不同的 **3×3** 的卷积核进行卷积，一个输出分类用的 **confidence**，每个 **default box **生成21个类别confidence；一个输出回归用的 **localization**，每个 **default box** 生成4个坐标值（x, y, w, h）。此外，这 5 个 feature map 还经过 **PriorBox **层生成 **prior box**（相当于 faster rcnn 的 Anchor）。上述5个 feature map 中每一层的 default box的数量是给定的(8732个)。最后将前面三个计算结果分别合并然后传给loss层。

回到顶部

# 二. Default box #

> 文章的核心之一是作者同时采用 lower 和 upper 的 feature map 做检测。如图Fig 1 所示，这里假定有 8×8 和 4×4 两种不同尺度的 feature map。第一个概念是**feature map cell，feature map cell 是指 feature map 中每一个小格子**，如图中分别有 64 和 16 个 cell。另外有一个概念：**default box，是指在feature map的每个小格(cell)上都有一系列固定大小的box**，如下图有4个（下图中的虚线框，仔细看格子的中间有比格子还小的一个box）。假设每个 feature map cell 有 k 个 default box，那么对于每个default box都需要预测 c 个类别 score 和 4 个 offset，那么如果一个 feature map的大小是 **m×n**，也就是有 **m\*n **个 feature map cell，那么这个 feature map就一共有**（c+4）\*k \* m\*n **个输出。这些输出个数的含义是**：采用3×3的卷积核对该层的feature map卷积时卷积核的个数，包含两部分：数量 c\*k\*m\*n 是 confidence 输出，表示每个 default box 的 是某一类别的 confidence；数量4\*k\*m\*n是 localization 输出，表示每个default box 回归后的坐标**）。训练中还有一个东西：**prior box**，是指实际中选择的 default box（你可以认为 default box 是抽象类，而 prior box 是具体实例）。训练中对于每个图像样本，需要先将 prior box 与 ground truth box 做**匹配**，匹配成功说明这个 prior box 所包含的是个目标，但离完整目标的 ground truth box 还有段距离，训练的目的是保证default box 的分类 confidence 的同时将 prior box 尽可能回归到 ground truth box。 举个列子：假设一个训练样本中有2个ground truth box，所有的feature map中获取的prior box一共有8732个。那个可能分别有10、20个prior box能分别与这2个ground truth box匹配上，匹配成功的将会作为正样本参与分类和回归训练，而未能匹配的则只会参加分类（负样本）训练。训练的损失包含定位损失和回归损失两部分。

作者的实验表明default box的shape数量越多，效果越好。

![690218-20170722212733934-417773675.jpg][]

这里用到的 **default box** 和 Faster RCNN 中的 **Anchor** 很像，在 Faster RCNN 中 anchor 只用在最后一个卷积层，但是在本文中，default box 是应用在多个不同层的 feature map 上，这一点倒是很像 [FPN][] 了。

那么default box的 **scale**（大小）和**aspect ratio**（横纵比）要怎么定呢？假设我们用 m 个 feature maps 做预测，那么对于每个featuer map而言其 default box 的 scale 是按以下公式计算的：

**∨∨**。总的目标损失函数（objective loss function）就由 localization loss（loc） 与 confidence loss（conf） 的加权求和：

*  N 是与 ground truth box 相匹配的 prior boxes 个数

*  localization loss（loc） 是 [Fast R-CNN 中 Smooth L1 Loss][Fast R-CNN _ Smooth L1 Loss]，用在 predict box（l） 与 ground truth box（g） 参数（即中心坐标位置，width、height）中，回归 bounding boxes 的中心位置，  
    以及 width、height

*  confidence loss（conf） 是 Softmax Loss，输入为每一类的置信度 c

*  权重项 α，可在protxt中设置 loc\_weight，默认设置为 1

回到顶部

# 五. 使用注意 #

## 1. caffe 这个版本里，使用 batch\_sampler 做 data argument 时要注意是否 crop 的样本只包含目标很小一部分，同时可以关注其他的 data argument 论文。 ##

## 2. 检查对于你的样本来说回归和分类问题哪个更难，以此调整 multibox\_loss\_param 中 loc\_weight 进行训练。 ##

## 3. 正负样本比例，默认HARD\_EXAMPLE方式只取64个最高 predictions loss 来从中寻找负样本，检查你的样本集中正负样本比例是否合适。 ##

## 4. 尝试使用 [Focal Loss][] 替换 Softmax Loss with hard example。 ##

## 5. 根据需求，替换不同的 [backbone][]。 ##

## 6. 尝试使用 [GIoU、DIoU、CIoU Loss][GIoU_DIoU_CIoU Loss] 替换 Smooth L1 Loss。 ##

![29.gif][]![29.gif][]![29.gif][]![29.gif][]![29.gif][]![29.gif][]

分类: [深度学习][Link 2], [检测][Link 3]

好文要顶 关注我 收藏该文 ![icon_weibo_24.png][] ![wechat.png][]

[![20170903220100.png][]][20170903220100.png 1]

[xuanyuyt][20170903220100.png 1]  
[关注 - 5][- 5]  
[粉丝 - 87][- 87]

\+加关注

<div class="clear"></div>
    <div id="post_next_prev">
    
    <a href="https://www.cnblogs.com/xuanyuyt/p/7399358.html" class="p_n_p_prefix">« </a> 上一篇：    <a href="https://www.cnblogs.com/xuanyuyt/p/7399358.html" title="发布于 2017-08-21 09:22">Jupyter Notebook 快速入门</a>
    <br>
    <a href="https://www.cnblogs.com/xuanyuyt/p/7444468.html" class="p_n_p_prefix">» </a> 下一篇：    <a href="https://www.cnblogs.com/xuanyuyt/p/7444468.html" title="发布于 2017-08-29 11:20">深度学习笔记（八）Focal Loss</a>

posted @ 2017-08-29 10:51  [xuanyuyt][]  阅读( 26718)  评论( 15)  [编辑][Link 4]  收藏

评论列表

</div>

\#1楼

2018-04-05 09:37

<a id="a_comment_author_3942910" href="https://www.cnblogs.com/even-ctit/" target="_blank">even.ctit</a>
    
                <div class="feedbackCon">

楼主我有一个地方没弄明白，  
另外有一个概念：default box，是指在feature map的每个小格(cell)上都有一系列固定大小的box。  
就上面这段话，如8\*8的feature map,上面有4个default box,但是它们都是分布在不同的cell里的，所以，default box的数量怎么会是  
m\*n\*k呢？m\*n是feature map的大小,k是default box的数量.所以这个怎么计算呢？一个cell未必有一个default box。

支持(0)   反对(0)

https://pic.cnblogs.com/face/934859/20180615231429.png

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#2楼

2018-09-10 10:36

<a id="a_comment_author_4062517" href="https://home.cnblogs.com/u/1386442/" target="_blank">berry_kkw</a>
    
                <div class="feedbackCon">

请问位于边缘的feature map cell的default box的数目怎么确定啊？不会出界吗？

支持(0)   反对(0)

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#3楼  
  
\[楼主\]

2018-09-10 10:41

<a id="a_comment_author_4062525" href="https://www.cnblogs.com/xuanyuyt/" target="_blank">xuanyuyt</a>
    
                <div class="feedbackCon">

@ berry\_kkw  
具体可查看prior\_box\_layer.cpp里是怎么实现的

支持(0)   反对(0)

/images/20230209/d7c209ac1cee4e12ac58fc4ab34bbfd8.png

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#4楼

2018-09-10 10:44

<a id="a_comment_author_4062528" href="https://home.cnblogs.com/u/1386442/" target="_blank">berry_kkw</a>
    
                <div class="feedbackCon">

@  
谢谢博主

支持(0)   反对(0)

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#5楼

2019-03-28 22:33

<a id="a_comment_author_4216340" href="https://www.cnblogs.com/teslas/" target="_blank">小黏瓜</a>
    
                <div class="feedbackCon">

论文中选取的6个feature层明明是conv4\_3、con7、conv8\_2、conv9\_2、conv10\_2、conv11\_2，为什么你的模型里面是错着号的呢？很容易弄混啊

支持(0)   反对(0)

https://pic.cnblogs.com/face/1105750/20170213230741.png

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#6楼  
  
\[楼主\]

2019-03-28 22:55

<a id="a_comment_author_4216363" href="https://www.cnblogs.com/xuanyuyt/" target="_blank">xuanyuyt</a>
    
                <div class="feedbackCon">

@ 小黏瓜  
应该是因为我改过网络

支持(0)   反对(0)

/images/20230209/d7c209ac1cee4e12ac58fc4ab34bbfd8.png

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#7楼

2019-06-03 23:31

<a id="a_comment_author_4272387" href="https://www.cnblogs.com/ywater/" target="_blank">ywater</a>
    
                <div class="feedbackCon">

这个应该算是一个初学者来说比较说得详细明白的文章了

支持(0)   反对(0)

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#8楼

2019-08-21 15:23

<a id="a_comment_author_4332727" href="https://home.cnblogs.com/u/1774876/" target="_blank">cassiechp</a>
    
                <div class="feedbackCon">

如果这P个候选正样本里有a个box不在这M个prior box里，将这M个box从候选正样本集中踢出去。如果这8732−P  
8732−P个候选负样本集中包含的8732−P有M−a个在这M个prior box，则将这M−a个候选负样本作为负样本。SSD算法中通过这种方式来保证 positives、negatives 的比例。  
  
博主，这句话的意思是什么，没看懂，呜呜呜呜

支持(0)   反对(0)

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#9楼  
  
\[楼主\]

2019-08-21 15:39

<a id="a_comment_author_4332758" href="https://www.cnblogs.com/xuanyuyt/" target="_blank">xuanyuyt</a>
    
                <div class="feedbackCon">

@ cassiechp  
我看了下，有笔误，已经改了，你再瞅瞅

支持(0)   反对(0)

/images/20230209/d7c209ac1cee4e12ac58fc4ab34bbfd8.png

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#10楼

2020-03-12 16:24

<a id="a_comment_author_4519348" href="https://home.cnblogs.com/u/1764797/" target="_blank">小锅炒</a>
    
                <div class="feedbackCon">

博主讲的太好了，对小白极其详细

支持(0)   反对(0)

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#11楼

2020-04-14 10:24

<a id="a_comment_author_4549941" href="https://www.cnblogs.com/houxiaohan/" target="_blank">resonance</a>
    
                <div class="feedbackCon">

博主您好，想问一下，“此外，这 5 个 feature map 还经过 PriorBox 层生成 prior box（相当于 faster rcnn 的 Anchor）。”这句话中生成priorbox还有一个层吗？不是通过3×3卷积得到的吗？还是说3×3卷积只能得到它的confidence和四个位置回归值然后又通过Prior的层得到的预测框呢？

支持(0)   反对(0)

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#12楼

2020-04-14 10:30

<a id="a_comment_author_4549947" href="https://www.cnblogs.com/houxiaohan/" target="_blank">resonance</a>
    
                <div class="feedbackCon">

另外，“回归部分的loss是希望预测的box和prior box的差距尽可能跟ground truth和prior box的差距接近，这样预测的box就能尽量和ground truth一样。“意思是除了prior box 还预测了一个box吗？？？不是直接让prior box和gt接近吗？

支持(0)   反对(0)

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#13楼  
  
\[楼主\]

2020-04-14 10:32

<a id="a_comment_author_4549950" href="https://www.cnblogs.com/xuanyuyt/" target="_blank">xuanyuyt</a>
    
                <div class="feedbackCon">

@resonance  
差点给你弄晕了，你去看看 网络定义的 prototxt 里有个 PriorBox 层，可以看成是 SSD 的定制层，实现具体看 prior\_box\_layer.cpp

支持(0)   反对(0)

/images/20230209/d7c209ac1cee4e12ac58fc4ab34bbfd8.png

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#14楼  
  
\[楼主\]

2020-04-14 10:37

<a id="a_comment_author_4549961" href="https://www.cnblogs.com/xuanyuyt/" target="_blank">xuanyuyt</a>
    
                <div class="feedbackCon">

@resonance  
回归目标不是 GT, 而是 GT - prior box，这么理解吧：（预测的 box + prior box) = 检测框

支持(0)   反对(0)

/images/20230209/d7c209ac1cee4e12ac58fc4ab34bbfd8.png

</div>
            </div>
        </div>
        <div class="feedbackItem">
            <div class="feedbackListSubtitle">
                <div class="feedbackManage">

</div>

\#15楼

2020-04-17 17:23

<a id="a_comment_author_4553475" href="https://www.cnblogs.com/houxiaohan/" target="_blank">resonance</a>
    
                <div class="feedbackCon">

预测的box不是prior box 吗？？？最后的检测框不是直接从prior box中选出来的吗

支持(0)   反对(0)

</div>
            </div>
        </div>

[https_www.cnblogs.com_xuanyuyt_p_7447111.html_label2]: https://www.cnblogs.com/xuanyuyt/p/7447111.html#_label2
[_SSD _]: https://www.cnblogs.com/xuanyuyt/p/7447111.html
[https_github.com_weiliu89_caffe_tree_ssd]: https://github.com/weiliu89/caffe/tree/ssd
[Link 1]: https://www.cnblogs.com/xuanyuyt/p/7222867.html
[YOLO V3]: https://www.cnblogs.com/xuanyuyt/p/11675840.html
[faster rcnn]: https://arxiv.org/pdf/1506.01497.pdf
[690218-20170722212733934-417773675.jpg]: /images/20230209/6b087a33c0fe4eda8366a543c6956547.png
[FPN]: https://arxiv.org/pdf/1612.03144.pdf
[Fast R-CNN _ Smooth L1 Loss]: http://arxiv.org/abs/1504.08083
[Focal Loss]: https://www.cnblogs.com/xuanyuyt/p/7444468.html
[backbone]: https://www.cnblogs.com/xuanyuyt/p/11329998.html
[GIoU_DIoU_CIoU Loss]: https://www.cnblogs.com/xuanyuyt/p/12090694.html
[29.gif]: /images/20230209/97e6b7559e2a45c4bfee6b86860eb11d.png
[Link 2]: https://www.cnblogs.com/xuanyuyt/category/851580.html
[Link 3]: https://www.cnblogs.com/xuanyuyt/category/1754998.html
[icon_weibo_24.png]: https://common.cnblogs.com/images/icon_weibo_24.png
[wechat.png]: /images/20230209/6256256d3bb044fc950c4ce4f37831d8.png
[20170903220100.png]: /images/20230209/d7c209ac1cee4e12ac58fc4ab34bbfd8.png
[20170903220100.png 1]: https://home.cnblogs.com/u/xuanyuyt/
[- 5]: https://home.cnblogs.com/u/xuanyuyt/followees/
[- 87]: https://home.cnblogs.com/u/xuanyuyt/followers/
[xuanyuyt]: https://www.cnblogs.com/xuanyuyt/
[Link 4]: https://i.cnblogs.com/EditPosts.aspx?postid=7447111