《GIoU: A Metric and A Loss for Bounding Box Regression》论文笔记

╰半夏微凉° 2022-02-13 08:51 188阅读 0赞

# 1. 概述 #

## 1.1 背景 ##

IoU通常作为检测性能的度量指标，其具有尺度不变性，但是最大化检测框的IoU与优化检测框的回归loss并不是对等的，比如在Faster RCNN中IoU用作proposal区域的选择度量，选择之后在通过全连接回归得到最后的检测结果，因而就造成了检测框边界回归与IoU的“不相关”。  
在2D的坐标环境情况下IoU在两个框相交情况下是可以用于计算损失并传递梯度的，因为梯度是0不能被优化，但是在两个框不相交的时候就不行了，这篇文章为了解决这个缺点提出了GIoU（Generalized IoU）的概念，用以提供新的Loss与度量标准。作者将该方法融入到了现有的目标检测方法中，并获得了不错的效果。不过目前代码是没有放出来的-\_-||。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
在图1（a）图中（PS：绿色为GT，黑色为预测结果）边界框通过左上和右下两个顶点表示，预测框的第二个顶点若是在以GT框第二个顶点为圆心的圆上，其 l 2 l\_2 l2坐标 l 2 l\_2 l2距离是一致的，但是其IoU与GIoU是不一致的。在图（b）中表达的思想也是一致的，对于坐标的局部最优值，并不一定是IoU与GIoU的局部最优值。  
因而这篇文章的理念便是：**对于度量准则（文中的IoU）最佳的损失函数是度量准则本身**

## 1.2 相关工作 ##

**1）目标检测精度标准**  
度量检测优劣基本基于IoU，mAP是典型的基于IoU的标准，但是 mAP仅有一个 threshold，对于过了线的预测框一视同仁，不能进一步衡量其优劣，所以MS COCO 挑战赛提出了多IoU阈值的综合 mAP评价标准（就是同时采用几个阈值，计算出多个mAP综合打分）。

**2）Bounding box表示方法和损失函数**  
YOLO v1直接回归 bbox 的位置参数 ( x , y , h , w ) (x,y,h,w) (x,y,h,w)，并在 ( h , w ) (h,w) (h,w)采用预测平方根的方式回避尺度敏感。RCNN预测的是相对预先检测出的候选区的位置偏移，采用log空间回避尺度敏感。此时的损失函数以 l 2 l\_2 l2为主。Faster RCNN提出 l 1 l\_1 l1 smooth损失函数，使得学习鲁棒性更好。Faster RCNN提出了anchor boxes取代了RCNN系列中的候选生成算法，但是过多的anchor候选框导致了正负样本不平衡的问题，其作者进一步提出了focal loss进行应对（存疑，一般来说one stage法更易受到正负样本不平衡的困扰，而two stage法由于会在候选框阶段通过得分和NMS筛选过滤掉大量的负样本，然后在分类回归阶段又固定正负样本比例，相较one stage法情况会好很多）。

# 2. GIoU的提出 #

## 2.1 由IoU推广到GIoU ##

传统意义上IoU的定义如下：  
 I o U = ∣ A ∩ B ∣ ∣ A ∪ B ∣ IoU=\\frac\{|A\\cap B|\}\{|A\\cup B|\} IoU=∣A∪B∣∣A∩B∣  
之前的检测算法都是以此来作为与GT框的重合度度量，其实IoU具有如下的 **优点**：

*  1）将 1 − I o U 1-IoU 1−IoU作为距离度量，（数学可证的）满足非负性、同一性、对称性和三角不等性（non-negativity, identity of indiscernibles, symmetry and triangle inequality）；
 *  2）IOU 具有尺度不变性，不受 bbox 于 ground truth 的大小影响；

当然这样原始的IoU也是具有 **问题** 的：

*  1）只要两个框不相交，IOU 就为0，这使得它无法衡量两个框是相邻还是相距甚远。

正是因为上面的原因使得原始版本的IoU无法作为直接的损失值参与到边界框的回归中去，而是以它来选择候选集。正是解决这个问题提出了GIoU度量，其计算过程如下：  
![在这里插入图片描述][2019042715501328.png]  
上述算法中 A , B A,B A,B表示任意的形状， C C C是包围 A , B A,B A,B的最小同类形状，比例， A , B A,B A,B是矩形，那么 C C C就应该是包围 A , B A,B A,B的最小矩形。

GIoU源自于IoU，因而推导出来的GIoU集成了IoU的大部分性质，因而所具有如下的性质：

*  1）将1-GIoU作为距离度量，其继承了IoU的优良数学特性；
 *  2）GIoU同样具有尺度不变性；
 *  3）GIoU永远小于IoU，且当A趋近于B时（即两者趋于重合），GIoU趋于IoU；
 *  4）IoU取值区间为 \[ 0 , 1 \] \[0,1\] \[0,1\]，GIoU取值区间为 \[ − 1 , 1 \] \[-1,1\] \[−1,1\]：
    
     *  4.1）和上面3）中所说对应，A和B趋于重合时IoU和GIoU均趋向1， ∣ A ∣ |A| ∣A∣
     *  4.2）A和B差别越大，GIoU趋向于-1；

总的来说，GIoU集成了IoU的大部分属性，并且修正了IoU在之前提到的缺点，因而GIoU相对IoU更能反映两个框相交形式的好坏。

## 1.2 GIoU用作检测框回归的Loss ##

对于任意两个矩形回归框其Loss计算见下面的算法2：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
由于像反传 m i n , m a x min,max min,max以及分段线性函数反向传播地图是可行的，且GIoU已经解决了在无重叠的时候无法产生梯度的问题。论文作者采样了10K的随机矩形数据计算了IoU与GIoU的关系，见下图2，可以看到在IoU小于0.2且GIoU小于0.2的时候GIou变化更为剧烈。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]

# 3. 实验 #

## 3.1 基于YOLO V3 ##

作者在这里使用GIoU Loss去替换了原始的MSE Loss，得到的结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]

## 3.2 基于Faster RCNN与Mask RCNN ##

作者在这里使用GIoU Loss去替换了原始的 l 1 l\_1 l1 Loss，得到的结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
文章作者在VOC与COCO数据集上使用目前主流的检测算法进行实验，实验的结果都表明使用GIoU作为损失函数能够显著提升网络检测的性能，或许在后序开放源码之后，经过众多实践成为检测领域的标配。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20220213/f300a07a3181472483268f720f7bb1e4.png
[2019042715501328.png]: /images/20220213/4d2400e076fa4b16af4f48e2927a8dab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20220213/4d7306417cb24a5badad4adfe9246eab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20220213/49f7c89c58b14c9b92a47e9481bec1ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20220213/58005d02be1c48f7b318b53aa28262d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20220213/9639a95384c14c0ab0c600d14ad86926.png

发表评论取消回复

表情：

评论列表（有 0 条评论，188人围观）

还没有评论，来说两句吧...

相关阅读

相关《Bounding Box Regression with Uncertainty for Accurate Object Detection》论文笔记

码地址：[KL-Loss][] 1. 概述 > 导读：这篇文章对于数据集中标注不明确的标注框给检测带来的影响做了研究，其中原有的检测框的回归函数Smooth L1...

雨点打透心脏的1/2处/ 2024年04月19日 08:31/ 0 赞/ 10 阅读

相关边框回归(Bounding Box Regression)详解

文链接：https://blog.csdn.net/zijin0802034/article/details/77685438 原文地址：https://blog.c...

一时失言乱红尘/ 2024年04月17日 19:17/ 0 赞/ 10 阅读

相关 GIOU loss+DIOU loss+CIOU loss

[GIOU loss+DIOU loss+CIOU loss][GIOU loss_DIOU loss_CIOU loss] [GIOU loss_DIOU loss_CI

「爱情、让人受尽委屈。」/ 2023年01月11日 08:43/ 0 赞/ 161 阅读

相关 SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC（论文阅读笔记）

优点：该deep sort算法基于sort算法进行改进，利用一个re-id 模型为目标生成一个外观特征，同时结合了运动(motion)和外观(appearance)信息能够追踪

野性酷女/ 2022年12月15日 00:57/ 0 赞/ 109 阅读

相关边框回归(Bounding Box Regression)详解

[博文传送门][Link 1] 作者详细的解释了边界框回归的相关问题 1.为什么要边框回归？ 2.什么是边框回归？ 3.边框回归怎么做的？ 4.边框回归为什么宽

女爷i/ 2022年10月22日 09:08/ 0 赞/ 151 阅读

相关 RCNN：Bounding box Regression 理解

RCNN论文里有这样一段，在说 Bounding box Regression： ![70][] 那么他这个概念怎么理解呢？下面的这个PDF 其实挺不错（转自：[ht

た入场券/ 2022年05月11日 12:28/ 0 赞/ 125 阅读

相关 [CVPR2019]Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression

IoU和GIoU作为Loss的具体公式 GIoU很容易理解，就多了一个两个BBox所占最大面积A1，与并集的区别在于多算了不属于BBox的一部分面积A2，就用

本是古典何须时尚/ 2022年03月15日 08:44/ 0 赞/ 122 阅读

相关《GIoU: A Metric and A Loss for Bounding Box Regression》论文笔记

1. 概述 1.1 背景 IoU通常作为检测性能的度量指标，其具有尺度不变性，但是最大化检测框的IoU与优化检测框的回归loss并不是对等的，比如在Faster R

╰半夏微凉°/ 2022年02月13日 08:51/ 0 赞/ 189 阅读

相关论文学习笔记：Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regressi

Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression

青旅半醒/ 2021年12月20日 11:17/ 0 赞/ 165 阅读

相关 Center Loss: A Discriminative Feature Learning Approach for Deep Face Recognition（论文阅读笔记）

摘要卷积神经网络(CNNs)在计算机视觉领域得到了广泛的应用，极大地提高了计算机视觉领域的技术水平。在现有的神经网络中，大多采用softmax损失作为监督信号来训练模型

╰半橙微兮°/ 2021年11月27日 03:06/ 0 赞/ 316 阅读