论文阅读【CenterNet】

约定不等于承诺〃 2024-04-18 11:44 63阅读 0赞

代码：[https://github.com/xingyizhou/CenterNet][https_github.com_xingyizhou_CenterNet]  
论文地址： [https://arxiv.org/abs/1904.08189][https_arxiv.org_abs_1904.08189]

还有一篇 重名？https://arxiv.org/pdf/1904.08189.pdf [https://github.com/Duankaiwen/CenterNet][https_github.com_Duankaiwen_CenterNet]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70 1]

##### 文章要点： #####

针对基于anchor的检测方法（yolo v2-yolo v3，SSD ，faster-rcnn）在特征图中产生大量的bounding box 用于分类和位置修正，要求大量的计算资源消耗，额外的后处理，Loss复杂等。

文章就提出anchor-free的方式，通过Keypoint（中心点）和距离中心点的box的w，h回归box大小，外加offset偏移，这就节省了NMS操作。本文也是对CornerNet的改进。

实验结果：COCO数据上表现出:

--------------------

#### LOSS定义： ####

#### 一：中心关键点Y的Loss ####

LOSS分为3个部分，首先，为中心关键点Y的Loss：  
对于一幅输入（W, H）图像， 经过CNN产生一个heatMap = W R × H R × C \\frac\{W\}\{R\}\\times \\frac\{H\}\{R\}\\times C RW×RH×C，用 Y ~ \\widetilde\{Y\} Y代表， Y ~ \\widetilde\{Y\} Y ϵ \\epsilon ϵ\[0,1\], C表示关键点的类型数（维度？），例如，人体姿态估计C=17个关节点，C=80个目标检测物体类别，R表示特征图相比输入图缩放倍数，一般默认R=4，即heatmap缩小为原图的1/4.

首先groundtruth生成的关键点为 P P P（具体先不解释这个，把BOX的坐标转换来的吧，），显示在预测低分辨率heatmap上为 P ^ \\widehat\{P\} P= P / R P/R P/R， 作者把CNN会生成heatmap 坐标 与GroudTruth关键点使用高斯核函数标准化， σ p 2 \\sigma \_\{p\}^\{2\} σp2表示自适应的标准方差。  
![在这里插入图片描述][2019090614004342.png]  
 Y ^ x , y , c \\widehat\{Y\}\_\{x,y,c\} Yx,y,c=1, 表示检测到一个关键点，  
 Y ^ x , y , c \\widehat\{Y\}\_\{x,y,c\} Yx,y,c=0，表示为背景  
定义使用focal Loss： α \\alpha α =2 ,  β \\beta β=4 设为常数  
![在这里插入图片描述][20190906112530293.PNG]

##### 二：offset Loss #####

缩小的 输出heatmap 恢复到原图，中心点可能差生误差，需要添加一个位移偏置损失，先在处采集局步关键点（？没看懂）：  
![在这里插入图片描述][20190906142356460.png]  
作者后面说O等于这个，后面看懂博主补充下：  
![在这里插入图片描述][20190906145252410.png]  
然后算偏移量

![在这里插入图片描述][20190906112549269.png]

#### 三、box 大小损失（这里没有IOU哦） ####

Groudtruth 坐标为（ X m i n X\_\{min\} Xmin,  Y m i n Y\_\{min\} Ymin,  X m a x X\_\{max\} Xmax,  Y m a x Y\_\{max\} Ymax）, 中心点为 P k P\_\{k\} Pk为：  
![!\[在这里插入图片描述\](https://img-blog.csdnimg.cn/20190906143136995.png][https_img-blog.csdnimg.cn_20190906143136995.png]

S k S\_\{k\} Sk表示box的W，H：  
![在这里插入图片描述][20190906143147442.png]  
坐标损失用预测的（w，h）集合 S ^ p k \\widehat\{S\}\_\{pk\} Spk与每个关键点P的GroundTruth标记的（w，h）相减求平均值  
![在这里插入图片描述][20190906112540810.png]

总的Loss定义为： 中心点损失+偏移损失+box大小损失， λ s i z e \\lambda\_\{size\} λsize=0.1 ,  λ o f f \\lambda\_\{off\} λoff=1 ,用于权衡各项损失的比重  
![在这里插入图片描述][20190906112559969.png]

放张图，缓解一下硬核理论：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70 2]

文章中给的实验对比图，可以稍作参考， 具体表现还真不能拿这个定，亲测。。。。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70 3]

[https_github.com_xingyizhou_CenterNet]: https://github.com/xingyizhou/CenterNet
[https_arxiv.org_abs_1904.08189]: https://arxiv.org/abs/1904.08189
[https_github.com_Duankaiwen_CenterNet]: https://github.com/Duankaiwen/CenterNet
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/47554b7e33e54023bfb8c74c10a87108.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/35ec07e41dde4852b40facbedb5c8607.png
[2019090614004342.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/bbae660078cd44b1b553b9c8110444de.png
[20190906112530293.PNG]: https://img-blog.csdnimg.cn/20190906112530293.PNG
[20190906142356460.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/366ba40c923e4ee3bb55719783474b2b.png
[20190906145252410.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9944f712295f4ddb8c249c07f1d24679.png
[20190906112549269.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/5293ddc16cf34aa19dcf6fb75bd82dc9.png
[https_img-blog.csdnimg.cn_20190906143136995.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/bf516126d54f49e8a239c23aa89e76d1.png
[20190906143147442.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/f7d80b388bdd4c54a0c8fe8d3df4994b.png
[20190906112540810.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/4ce817e6789b4be2afc89f1cfa80e582.png
[20190906112559969.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/76464283b0d34a42a5361e7bc99fba64.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/4ceff2507b5744f4b46dac67a9ae412b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYzMjI0Ng_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/8d64b6ba78dd4af399d7ddf1071645c2.png