《PIoU Loss：Towards Accurate Oriented Object Detection in Complex Environments》论文笔记

r囧r小猫 2022-11-16 10:42 108阅读 0赞

参考代码：[piou][]

# 1. 概述 #

> 导读：旋转矩形框的引入可以更好贴合目标的轮廓，一般是在水平矩形框的基础上添加一个旋转变量，之后通过诸如smooth L1损失函数进行约束，但是这样的约束方式并不能很好反应实际检测结果与GT的重合关系（IoU），特别是在一些长宽比例比较大的时候。对此文章从像素点的角度进行统计，从而计算出预测框与GT的交叠面积，文章将其称之为PIoU（pixels-IoU）。由于文章的PIoU是逐点进行计算的，因此其可以使用在水平框和旋转矩形框的场景上，其对于旋转框的定位具有较好的优化作用，特别是长款比例比较大的情况下。此外，文章还提供了一个数据集Retail-50k用以丰富旋转目标检测的场景下。

在之前的旋转框检测算法中使用smooth L1的损失函数进行预测分量的监督，却不能很好反应实际的检测性能，特别是在目标的长宽比例比较大的情况下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
上图的a图展示的就是使用传统的smooth L1损失函数，可以看到两种不同长宽的框其损失值是一样的，但是实际的检测性能是不一样的，**因而在这样的场景下使用这样的损失函数是不合时宜的**。对此文章直接从检测性能的度量指标入手，定义了一个新的损失函数PIoU，从上图的b图可以看到，在相同的场景下其可以产生更加准确的性能评估结果，从而引导整个网络生成性能更好的检测结果。

文章的方法对于水平框也是具有适应性的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]

# 2. 方法设计 #

## 2.1 文章pipline ##

文章的整体结构是比较简单的，相比之前的旋转框检测算法其就是在损失函数上进行了改进，其pipeline见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]

## 2.2 PIoU Loss ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]  
文章中对于旋转框的损失计算直接使用的是IoU，那么怎么高效地去计算旋转框之间的IoU这就是一个问题了，对此文章直接使用过“数像素点”的形式实现的。那么要进行“数像素点”那么就需要判断结果中的点是否在GT内部，若是在GT内部就算作是交叠了。对此文章使用的是点投影的方式进行表达，定义GT框的中心点为 ( c x , c y ) (c\_x,c\_y) (cx,cy)，那么其在旋转框w和h方向上（一般使用长边作为w）的投影距离为 d i , j w d\_\{i,j\}^w di,jw和 d i , j h d\_\{i,j\}^h di,jh，那么像素点 p i , j p\_\{i,j\} pi,j是否在GT框内部的判断标准为：  
 δ ( p i , j ∣ b ) = \{ 1 , d i , j w ≤ w w , d i , j h ≤ h 2 0 , otherwise \\delta(p\_\{i,j\}|b) = \\begin\{cases\} 1, & \\text\{$d\_\{i,j\}^w\\le\\frac\{w\}\{w\},d\_\{i,j\}^h\\le\\frac\{h\}\{2\}$\} \\\\ 0, & \\text\{otherwise\} \\end\{cases\} δ(pi,j∣b)=\{ 1,0,di,jw≤ww,di,jh≤2hotherwise  
此外，要计算上述公式的中结果还需要得到几个分量，可以参考图3的a图所示。这里使用的距离都是欧式距离，定义像素点 p i , j p\_\{i,j\} pi,j到GT中心点 ( c x , c y ) (c\_x,c\_y) (cx,cy)的距离为：  
 d i , j = d ( i , j ) = ( c x − i ) 2 + ( c y − j ) 2 d\_\{i,j\}=d(i,j)=\\sqrt\{(c\_x-i)^2+(c\_y-j)^2\} di,j=d(i,j)=(cx−i)2\+(cy−j)2  
那么其在w和h方向上进行投影，其分量可以描述为：  
 d i , j w = ∣ d i , j   c o s β ∣ d\_\{i,j\}^w=|d\_\{i,j\}\\ cos\\beta| di,jw=∣di,j cosβ∣  
 d i , j h = ∣ d i , j   s i n β ∣ d\_\{i,j\}^h=|d\_\{i,j\}\\ sin\\beta| di,jh=∣di,j sinβ∣  
其中， β \\beta β的计算为：  
 β = \{ θ + a r c c o s c x − i d i , j , if  c y − j ≥ 0 θ − a r c c o s c x − i d i , j if  c y − j < 0 \\beta = \\begin\{cases\} \\theta+arccos\\frac\{c\_x-i\}\{d\_\{i,j\}\}, & \\text\{if $c\_y-j\\ge 0$\} \\\\ \\theta-arccos\\frac\{c\_x-i\}\{d\_\{i,j\}\} & \\text\{if $c\_y-j\\lt 0$\} \\end\{cases\} β=\{ θ\+arccosdi,jcx−i,θ−arccosdi,jcx−iif cy−j≥0if cy−j<0  
对于实际检测结果 b b b和对应的GT框 b ′ b^\{'\} b′其计算IoU所需的交并集的计算可以描述为：  
 S b ∩ b ′ = ∑ p i , j ∈ B b , b ′ δ ( p i , j ∣ b ) δ ( p i , j ∣ b ′ ) S\_\{b\\cap b^\{'\}\}=\\sum\_\{p\_\{i,j\}\\in B\_\{b,b^\{'\}\}\}\\delta(p\_\{i,j\}|b)\\delta(p\_\{i,j\}|b^\{'\}) Sb∩b′=pi,j∈Bb,b′∑δ(pi,j∣b)δ(pi,j∣b′)  
 S b ∪ b ′ = ∑ p i , j ∈ B b , b ′ δ ( p i , j ∣ b ) + δ ( p i , j ∣ b ′ ) − δ ( p i , j ∣ b ) δ ( p i , j ∣ b ′ ) S\_\{b\\cup b^\{'\}\}=\\sum\_\{p\_\{i,j\}\\in B\_\{b,b^\{'\}\}\}\\delta(p\_\{i,j\}|b)+\\delta(p\_\{i,j\}|b^\{'\})-\\delta(p\_\{i,j\}|b)\\delta(p\_\{i,j\}|b^\{'\}) Sb∪b′=pi,j∈Bb,b′∑δ(pi,j∣b)\+δ(pi,j∣b′)−δ(pi,j∣b)δ(pi,j∣b′)  
但是，由于上述的计算过程中涉及到一个二值化函数，这就导致了其是不可微分的。因而文章对其进行了优化，使用一个函数进行近似，那么上面的交集计算变为：  
 F ( p i , j ∣ b ) = K ( d i , j w , w ) K ( d i , j h , h ) F(p\_\{i,j\}|b)=K(d\_\{i,j\}^w,w)K(d\_\{i,j\}^h,h) F(pi,j∣b)=K(di,jw,w)K(di,jh,h)  
其中，使用的变换函数为：  
 K ( d , s ) = 1 − 1 1 + e − k ( d − s ) K(d,s)=1-\\frac\{1\}\{1+e^\{-k(d-s)\}\} K(d,s)=1−1\+e−k(d−s)1  
它在不同超参数下的取值可以参考图3的b图所示，在文章的代码中其 k = 10 , s = 0.5 k=10,s=0.5 k=10,s=0.5。不同的 k k k值对性能的影响，见下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
那么经过重新定义之后，文章计算IoU所需的交并集分量可以描述为：  
 S b ∩ b ′ ≈ ∑ p i , j ∈ B b , b ′ F ( p i , j ∣ b ) F ( p i , j ∣ b ′ ) S\_\{b\\cap b^\{'\}\}\\approx\\sum\_\{p\_\{i,j\}\\in B\_\{b,b^\{'\}\}\}F(p\_\{i,j\}|b)F(p\_\{i,j\}|b^\{'\}) Sb∩b′≈pi,j∈Bb,b′∑F(pi,j∣b)F(pi,j∣b′)  
 S b ∪ b ′ ≈ ∑ p i , j ∈ B b , b ′ F ( p i , j ∣ b ) + F ( p i , j ∣ b ′ ) − F ( p i , j ∣ b ) F ( p i , j ∣ b ′ ) S\_\{b\\cup b^\{'\}\}\\approx\\sum\_\{p\_\{i,j\}\\in B\_\{b,b^\{'\}\}\}F(p\_\{i,j\}|b)+F(p\_\{i,j\}|b^\{'\})-F(p\_\{i,j\}|b)F(p\_\{i,j\}|b^\{'\}) Sb∪b′≈pi,j∈Bb,b′∑F(pi,j∣b)\+F(pi,j∣b′)−F(pi,j∣b)F(pi,j∣b′)  
由于实际检测结果 b b b和对应的GT框 b ′ b^\{'\} b′都是矩形的，那么实际的面积就可以按照矩形的面积公式进行计算，因而上述并集的计算量就可以极大简化，则并集可以描述为：  
 S b ∪ b ′ = w ∗ h + w ′ ∗ h ′ − S b ∩ b ′ S\_\{b\\cup b^\{'\}\}=w\*h+w^\{'\}\*h^\{'\}-S\_\{b\\cap b^\{'\}\} Sb∪b′=w∗h\+w′∗h′−Sb∩b′  
则最后的IoU计算描述为：  
 P I o U = S b ∩ b ′ S b ∪ b ′ PIoU=\\frac\{S\_\{b\\cap b^\{'\}\}\}\{S\_\{b\\cup b^\{'\}\}\} PIoU=Sb∪b′Sb∩b′  
而最后的损失函数文章将其定义为：  
 L P I o U = − ∑ ( b , b ′ ) ∈ M l n P I o U ( b , b ′ ) ∣ M ∣ L\_\{PIoU\}=\\frac\{-\\sum\_\{(b,b^\{'\})\\in M\}\\mathcal\{ln\}PIoU(b,b^\{'\})\}\{|M|\} LPIoU=∣M∣−∑(b,b′)∈MlnPIoU(b,b′)  
文章损失函数与其它损失函数的性能比较（DOTA数据集下）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
对应的实现代码，请参考：[pixel\_weights\_cpu.cpp][pixel_weights_cpu.cpp]

## 2.3 Retail-50k数据集 ##

出于数据背景的复杂多样性/ 检测目标的长宽比例多样性/ 实际场景下实用性等因素文章公布了该数据集，可以从文章Git的对应文件夹下通过脚本下载对应的网络图片。将文章提供的数据集与其它的一些数据集进行比较，见下表所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]  
Retail-50k数据集的统计特性：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]

# 3. 实验结果 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]

[piou]: https://github.com/clobotics/piou
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20221022/79aa6123161a4642b62a8be91547b91e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20221022/5e4eb7c7d93a4b34a5fe1439a395df04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20221022/1b1c301812464741ab1aa46a9e4a934a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20221022/af4472ac838a476b9cc3b38e7464f8b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20221022/ad1f1bf63af7409b866fd79fc54c7066.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20221022/2ffeedcd6114492a83b4af559dbc97f9.png
[pixel_weights_cpu.cpp]: https://github.com/clobotics/piou/blob/master/src/lib/piou_loss/pixel_weights_cpu.cpp
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20221022/4c034a991b154284a5415c672ccb4659.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]: /images/20221022/48d27fbdd58e4b78af09b84f9b5d8943.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 8]: /images/20221022/f54165c0b5c541b19c36428074c29390.png