《LaneAF：Robust Multi-Lane Detection with Affinity Fields》论文笔记

﹏ヽ暗。殇╰゛Y 2022-09-03 05:26 180阅读 0赞

参考代码：[LaneAF][]

# 1. 概述 #

> 导读：这篇文章提出了通过语义分割（2分类）检测车道线的算法，不过在其中添加了affinity fields用于区分不同的车道线（从语义分割演变实现“实例分割”）。文中对每条车道线预测两个affinity fields，分别是水平方向和垂直方向。其中水平方向的affinity fields用于归纳当前车道线行的中心点，垂直的affinity fileds用于推断当前车道线下一行预测集合的位置，也就是在图像的行维度上使用水平和垂直的affinity fields进行耦合，从而将不同的车道线区分开来。因而文章的算法后处理相对来讲会复杂一些，经过测试其平均耗时为15～20ms（CPU）。

文章方法新颖点在分割的基础上引入affinity fields用以在语义分割基础上实现“实例分割”的效果。其主要流程见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]  
左边的部分就是传统的语义分割的编解码单元，只是在输出的时候同时输出语义分割结果和两个方向上的affinity fields，之后通过后处理得到最后的结果。

# 2. Affinity Fileds和Loss #

## 2.1 Affinity Fileds ##

**预测标签的生成：**  
对于水平方向的affinity fileds是用于完成当前行所在车道线中心点的预测，那么当前行所在车道线上的点指向中心的向量就可以表示为：  
 H ⃗ g t ( x i l , y ) = ( x ˉ y l − x i l ∣ x ˉ y l − x i l ∣ , y − y ∣ ∣ y − y ) T = ( x ˉ y l − x i l ∣ x ˉ y l − x i l ∣ , 0 ) T \\vec\{H\}\_\{gt\}(x\_i^l,y)=(\\frac\{\\bar\{x\}\_y^l-x\_i^l\}\{|\\bar\{x\}\_y^l-x\_i^l|\},\\frac\{y-y\}\{||y-y\})^T=(\\frac\{\\bar\{x\}\_y^l-x\_i^l\}\{|\\bar\{x\}\_y^l-x\_i^l|\},0)^T Hgt(xil,y)=(∣xˉyl−xil∣xˉyl−xil,∣∣y−yy−y)T=(∣xˉyl−xil∣xˉyl−xil,0)T  
其中， x ˉ y l \\bar\{x\}\_y^l xˉyl代表当前车道线所在行的中心点， y y y代表当前所在的图片行， l l l代表当前所在的车道线， x i l x\_i^l xil代表当前所在车道线行上的像素点。形象的描述见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]  
对于垂直方向的affinity fileds的计算就需要2个行（ y − 1 y-1 y−1和 y y y），其计算的过程可以描述为：  
 V ⃗ g t ( x i l , y ) = ( x ˉ y − 1 l − x i l ∣ x ˉ y − 1 l − x i l ∣ , ( y − 1 ) − y ∣ ( y − 1 ) − y ∣ ) T = ( x ˉ y − 1 l − x i l ∣ x ˉ y − 1 l − x i l ∣ , − 1 ) T \\vec\{V\}\_\{gt\}(x\_i^l,y)=(\\frac\{\\bar\{x\}\_\{y-1\}^l-x\_i^l\}\{|\\bar\{x\}\_\{y-1\}^l-x\_i^l|\}, \\frac\{(y-1)-y\}\{|(y-1)-y|\})^T=(\\frac\{\\bar\{x\}\_\{y-1\}^l-x\_i^l\}\{|\\bar\{x\}\_\{y-1\}^l-x\_i^l|\}, -1)^T Vgt(xil,y)=(∣xˉy−1l−xil∣xˉy−1l−xil,∣(y−1)−y∣(y−1)−y)T=(∣xˉy−1l−xil∣xˉy−1l−xil,−1)T  
上面一些参数与水平计算中的类似，其中需要注意的是计算垂直方向的时候是与上一行的中心点 x ˉ y − 1 l \\bar\{x\}\_\{y-1\}^l xˉy−1l进行计算，形象的描述表示为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]  
那么对于一整幅图像其中的多个车道线的水平和垂直方向的affinity fileds标注计算过程可以描述为下面算法中的形式（文章中所有的处理过程都是**自底向上**的）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]  
**水平和垂直affinity fileds的后处理：**  
在后处理阶段对于不同的车道线实例使用 C k C^k Ck进行表示（初始的情况下是在 ( y − 1 ) (y-1) (y−1)行开始处理），则所在行的车道线实例的判别条件为：  
 H ⃗ p r e d ( x i − 1 f g , y − 1 ) 0 ≤ 0   a n d   H ⃗ p r e d ( x i f g , y − 1 ) 0 > 0 \\vec\{H\}\_\{pred\}(x\_\{i-1\}^\{fg\},y-1)\_0\\le0\\ and\\ \\vec\{H\}\_\{pred\}(x\_i^\{fg\},y-1)\_0\\gt0 Hpred(xi−1fg,y−1)0≤0 and Hpred(xifg,y−1)0>0  
也就是通过夹逼准则进行中心点确定，其示意图见下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]  
在确定了当前行的的中心点之后，下一行的车道线点集合怎么和当前中心点关联上呢？文章提出的方式就是使用距离度量，也就是求与当前中心点最近的下一行车道线点集合的距离最小化，从而实现聚类，可以描述为：  
 c v a f ∗ ( l ) = arg min ⁡ C k d C k ( l ) c\_\{vaf\}^\*(l)=\\argmin\_\{C^k\}d^\{C^k\}(l) cvaf∗(l)=CkargmindCk(l)  
也就是去判断与当前中心点距离最近的车道线点集合（表示为 x i l x\_i^l xil），这里使用的度量描述为：  
 d C k ( l ) = 1 C k ∑ i = 0 ∣ C k ∣ − 1 ∥ ( x ˉ C k , y − 1 ) T − ( x i l , y ) T − V ⃗ p r e d ( x i l , y ) ⋅ ∣ ∣ ( x ⃗ C k , y − 1 ) T − ( x i l , y ) T ∣ ∣   ∥ d^\{C^k\}(l)=\\frac\{1\}\{C^k\}\\sum\_\{i=0\}^\{|C^k|-1\}\\Vert(\\bar\{x\}^\{C^k\},y-1)^T-(x\_i^l,y)^T-\\vec\{V\}\_\{pred\}(x\_i^l,y)\\cdot||(\\vec\{x\}^\{C^k\},y-1)^T-(x\_i^l,y)^T||\\ \\Vert dCk(l)=Ck1i=0∑∣Ck∣−1∥(xˉCk,y−1)T−(xil,y)T−Vpred(xil,y)⋅∣∣(xCk,y−1)T−(xil,y)T∣∣ ∥  
具体计算距离的过程可以描述为下图的形式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]  
这里的完整后处理算法描述为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]

## 2.2 损失函数 ##

这里的损失函数主要包含分割损失函数和affinity fileds的损失函数。  
**分割部分的损失函数：**  
加权的较差熵损失  
 L B C E = − 1 N ∑ i \[ w ⋅ t i ⋅ l o g ( o i ) + ( 1 = t i ) l o g ( 1 − o i ) \] L\_\{BCE\}=-\\frac\{1\}\{N\}\\sum\_i\[w\\cdot t\_i\\cdot log(o\_i)+(1=t\_i)log(1-o\_i)\] LBCE=−N1i∑\[w⋅ti⋅log(oi)\+(1=ti)log(1−oi)\]  
IoU损失  
 L I o U = 1 N ∑ i \[ 1 − t i ⋅ o i t i + o i − t i ⋅ o i \] L\_\{IoU\}=\\frac\{1\}\{N\}\\sum\_i\[1-\\frac\{t\_i\\cdot o\_i\}\{t\_i+o\_i-t\_i\\cdot o\_i\}\] LIoU=N1i∑\[1−ti\+oi−ti⋅oiti⋅oi\]  
**affinity fileds部分损失：**  
直接采用L1监督的形式  
 L A F = 1 N f g ∑ i \[ ∣ t i h a f − o i h a f ∣ + ∣ t i v a f − o i v a f ∣ \] L\_\{AF\}=\\frac\{1\}\{N\_\{fg\}\}\\sum\_i\[|t\_i^\{haf\}-o\_i^\{haf\}|+|t\_i^\{vaf\}-o\_i^\{vaf\}|\] LAF=Nfg1i∑\[∣tihaf−oihaf∣\+∣tivaf−oivaf∣\]  
则**整体损失**函数被描述为：  
 L = L B C E + L I o U + L A F L=L\_\{BCE\}+L\_\{IoU\}+L\_\{AF\} L=LBCE\+LIoU\+LAF

# 3. 实验结果 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]

[LaneAF]: https://github.com/sel118/LaneAF
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20220829/5fa8f374c8854ac7bc3a01e5dff8f21b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20220829/0757897a16fb4f97ba823d9c7b907f0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20220829/9103b8c078f647bda8cbc2d01d0dc580.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20220829/e746583045f94e5b9e484b1f342f5249.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20220829/ab34b6d829884de1ac754ca9002418aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20220829/b6e67ceafa004cbd9c054c92dc38a37a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20220829/d22acb10f22445dfa643b7fe398cd1ec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 7]: /images/20220829/2a92d88c0d9b46858d787b297bc845df.png