SO-Pose: Exploiting Self-Occlusion for Direct 6D Pose Estimation

青旅半醒 2022-09-12 14:58 125阅读 0赞

**转载请注明作者和出处： [http://blog.csdn.net/john\_bh/][http_blog.csdn.net_john_bh]**

**paper 地址：[SO-Pose: Exploiting Self-Occlusion for Direct 6D Pose Estimation][SO-Pose_ Exploiting Self-Occlusion for Direct 6D Pose Estimation]**  
**作者及团队： 季向阳 团队 & 清华大学 & 慕尼黑工业大学 & 谷歌**  
**会议及时间：ICCV 2021**  
**code：[https://github.com/shangbuhuan13/SO-Pose][https_github.com_shangbuhuan13_SO-Pose]**

### 文章目录 ###

*   *  1. 主要贡献
     *  2. Related Works
     *  3. Methodology
     *   *  3.1. Selfocclusion for Robust Pose Estimation
         *  3.2. Crosslayer Consistency
         *  3.3. Overall Objective
     *  4. Evaluation
     *   *  4.1 Training Details
         *  4.2 Result
         *  4.3 Ablation Study
     *  5. Conclusion

## 1. 主要贡献 ##

相比two-stage 方法，end-to-end 方法在预测效果上仍有一些差距，作者深入研究发现：`当网络逼近最优时，由于无纹理物体表面固有的匹配模糊性，不可避免地会出现由噪声引起的错配误差，往往导致一个对应域对应多个拟合误差相似的6D位姿。 这导致训练过程收敛到次最优，阻碍了总体6D姿态估计性能。` 由于消除噪声引起的误差不是一件简单的事情，解决这个问题的另一种解决方案是用更精确的三维物体表示代替对应场，从而减少噪声的影响。  
受三维重建 \[“3d scene reconstruction with multi-layer depth and epipolar transformers”–ICCV 2019\] 中使用的多层模型的启发，专注于self-occlusion信息，以建立一个以观察者为中心的物体姿态的两层表示。

*  第一层保留目标上可见点及其投影的对应场；
 *  第二层包含 self-occlution 信息。本质上，作者并没有直接识别每个 visible point 是否以及在哪里遮挡了物体，而是通过检查每个像素和物体坐标平面之间的 self-occlusion 来简化过程。

创新点以及主要贡献：

1.  提出 SO-Pose，从3D object 的two-layer 表示中直接回归 6DoF pose；
2.  利用self-occlution 和 2D-3D对应关系来为3D空间中的每个对象建立一个两层表示，可以用来加强两个跨层的一致性，可以进一步提高准确性和鲁棒性；
3.  SO-Pose在各种具有挑战性的数据集上始终超越所有其他end-to-end 方法。此外, SO-Pose与其他sota的两阶段方法相比，也可以达到相当的精度，同时速度更快。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

## 2. Related Works ##

## 3. Methodology ##

![在这里插入图片描述][1e8f4ea054c3465b888e22b4a8ff9c2b.png_pic_center]  
大多数基于CNN方法的6DoF 方法只关注物体可见部分，忽略了遮挡部分的信息。因此，单层表示法不能完全准确地编码物体的几何特征，不能够准确的估计物体6D位姿。 SO-Pose方法，如图2 (d)和(e)，将自遮挡与估计的2D-3D对应相结合，建立一种新的两层表示，用于描述三维空间中物体的姿态。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

### 3.1. Selfocclusion for Robust Pose Estimation ###

想象一条光线从相机中心发出并穿过物体。这条射线与物体表面相交于多个不同的点，其中第一个点是可见的，而其他的都是自遮挡的。与\[34\]记录自遮挡点的坐标不同，作者记录的是每条射线与物体坐标平面之间的交点坐标。如图3所示，射线  O P OP OP 与物体坐标系  o − y z , o − x z , o − x y o-yz,o-xz,o-xy o−yz,o−xz,o−xy 的交点是  Q x , Q y , Q z Q\_x,Q\_y,Q\_z Qx,Qy,Qz。 ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center]  
对于单个物体，合并 P , Q = \{ Q x , Q y , Q z \} P,Q=\\\{Q\_x,Q\_y,Q\_z\\\} P,Q=\{ Qx,Qy,Qz\} 到 two-layer model :  
![在这里插入图片描述][84b69f0a319a44c58066b7a186bf36f2.png_pic_center]  
其中  V V V 表示当前视图  w . r . t . w.r.t. w.r.t.摄像机坐标系下的可见点。注意， Q Q Q 可以从 P P P 的解析推导出来，已知旋转  R R R 和平移  t t t。将  P P P 投影到二维图像平面上，得到：  
![在这里插入图片描述][358dbbd968a142f99aba6d81d4272809.png_pic_center]  
其中 K K K 表示相机内参数矩阵， P = \[ X P , Y P , Z P \] T P=\[X\_P,Y\_P,Z\_P\]^T P=\[XP,YP,ZP\]T 表示可见的3D 点，相机坐标系下物体坐标平面表示为（`有点没太明白`）：

![在这里插入图片描述][157703374a6f4e4687325684dcd40bf8.png_pic_center]  
其中  X X X 表示对应如下坐标平面上的3D 点：  
![在这里插入图片描述][a80517a75fd142a0b74a10cb2796fb54.png_pic_center]  
从以上信息可以导出  Q x Q\_\{x\} Qx,它位于射线  O P OP OP 和 平面  o − y z o-yz o−yz 的交点处：  
![在这里插入图片描述][29c4f4d0b32b41e9b7c04d7a47c847be.png_pic_center]  
同理，带入  n y , n z n\_y, n\_z ny,nz 可以得到  Q y , Q z Q\_y,Q\_z Qy,Qz。

由于 P P P和 Q Q Q是用摄像机坐标系表示的，它们对应的物体坐标系是用摄像机坐标系表示的: P 0 = R T P − R T t , Q 0 = R T Q − R T t P\_0=R^\{T\} P - R^\{T\}t, Q\_0=R^TQ-R^Tt P0=RTP−RTt,Q0=RTQ−RTt。

> 为了优化的稳定定， P 0 , Q 0 P\_0,Q\_0 P0,Q0 是根据物体直径做了标准化处理。  
> 值得注意的是，当光线通过摄像机中心  O O O 和一个可见点  P P P 时，可能会平行于物体的一个坐标平面，因此光线可能永远不会与这个平面相交。因此，为了规避这些情况并增强鲁棒性只考虑物体的最小边界长方体内的交点，如3所示。

### 3.2. Crosslayer Consistency ###

![在这里插入图片描述][468ad6423a654de4879d125957bcb9ba.png_pic_center]  
![在这里插入图片描述][23c817533f0d4b329779de2bd1f65a1b.png_pic_center]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

### 3.3. Overall Objective ###

![在这里插入图片描述][82399407ae7c4d25b716b4ab2d3e78b6.png_pic_center]  
![在这里插入图片描述][fba06618583542538c6af28dce29483b.png_pic_center]  
![在这里插入图片描述][ba3a005a5c3b456f9a0700d72efaaa1e.png_pic_center]

![在这里插入图片描述][efc203fb11b948f8a8f297c1dda812e5.png_pic_center]

## 4. Evaluation ##

### 4.1 Training Details ###

1.  Data  
    LM，LMO，YCB-V
2.  Metrics  
    ADD-S，BOP metrics

### 4.2 Result ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center 2]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]  
在(d)钻机中，我们证明了由于强遮挡导致6D位姿预测错误。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 4]  
![在这里插入图片描述][1acb0b14ca774029a66dee3b8d3701a1.png_pic_center]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center]

*  **Runtime Analysis**  
    在 Inter 3.30GHz CPU 和 TITAN X (12G) GPU的机器上，输入  640 ∗ 480 640\*480 640∗480 图像是，处理当个物体大概需要30ms，处理整张图像需要50 ms，其中包括使用 YOLO-v3 进行2D localization 的15ms。如图5所示，YCB-V上的Speed-AR评分图。该方法取得了第二好的效果(AR: 0.715)，进一步验证了该方法在实际应用中的巨大潜力。  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center 3]
 *  **Qualitative evaluation**  
    在图6中，显示了SO-Pose 的模型预测的YCB-V对象的规范化两层表示。对于(a)表示物体，在(b)中展示了其2D-3D点匹配，在(d)， (e)和(f)中展示了其self-occlusion坐标。©、(g)、(h),(i) 是 (b), (d), (e), (f) 的 corresponding error map。  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

### 4.3 Ablation Study ###

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center 2]

## 5. Conclusion ##

在本文中，作者提出了一种新的两层模型，该模型结合了2D-3D点对应和self-occlusion信息来明确地封装三维物体的空间线索。在此基础上作者提出了 SO-Pose，一个end-to-end 的 6DoF pose 直接回归算法框架，在数据集上相比效果有很大提升。实验评估也表明，两层模型适用于广泛的6D姿态估计框架，并能持续提高性能。未来，作者计划将两层模型集成到 self-supervised 6D姿态估计和 category-level 未见物体分析中。

[http_blog.csdn.net_john_bh]: http://blog.csdn.net/john_bh/
[SO-Pose_ Exploiting Self-Occlusion for Direct 6D Pose Estimation]: https://arxiv.org/abs/2108.08367
[https_github.com_shangbuhuan13_SO-Pose]: https://github.com/shangbuhuan13/SO-Pose
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/e0e4c75d45b54704a6a8bc01fcd72288.png
[1e8f4ea054c3465b888e22b4a8ff9c2b.png_pic_center]: /images/20220828/04c591c9ffdb42dab24a33bae9866fc3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/207b534e2df64fe58b6e554b85ea0e5a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/c6fd5a03449b46d185a30600bdce5cad.png
[84b69f0a319a44c58066b7a186bf36f2.png_pic_center]: /images/20220828/3f532e4197244ae0b7254c1ee92f520e.png
[358dbbd968a142f99aba6d81d4272809.png_pic_center]: /images/20220828/ff47c34ee50c484d9aaecc1dd634b5ff.png
[157703374a6f4e4687325684dcd40bf8.png_pic_center]: /images/20220828/83ed56a2c97140dda21a05f5cdb3d50a.png
[a80517a75fd142a0b74a10cb2796fb54.png_pic_center]: /images/20220828/778c7cade62348f5a60c7922b1d7e2a7.png
[29c4f4d0b32b41e9b7c04d7a47c847be.png_pic_center]: /images/20220828/ebf4191ce7104ab195b4c3ca2c21d08b.png
[468ad6423a654de4879d125957bcb9ba.png_pic_center]: /images/20220828/412631107f4d4f4a9970a3900c0da0f2.png
[23c817533f0d4b329779de2bd1f65a1b.png_pic_center]: /images/20220828/1dec661324594648b686089a12e5a0b0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/43e82352a04646fe8cc284e498ff9802.png
[82399407ae7c4d25b716b4ab2d3e78b6.png_pic_center]: /images/20220828/fbd49b8fb42e4333baa900b739e477fa.png
[fba06618583542538c6af28dce29483b.png_pic_center]: /images/20220828/f6aefe3ff8514761907fab2cd09a6831.png
[ba3a005a5c3b456f9a0700d72efaaa1e.png_pic_center]: /images/20220828/49db4aba47414db8ab202af92c93f367.png
[efc203fb11b948f8a8f297c1dda812e5.png_pic_center]: /images/20220828/886ac38678ee49c3b7c6839fa667f412.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: /images/20220828/06a5b9d3702a40749282e80b1cb0b34f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: /images/20220828/65c80e660d4c4be48bdf0cdf1aa885c6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 3]: /images/20220828/03db5c7aeb4b487aa90fc14408b23293.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 4]: /images/20220828/1754dbd77f714922a679e400dbda4ce1.png
[1acb0b14ca774029a66dee3b8d3701a1.png_pic_center]: /images/20220828/8cb1b78a1475473d8e6ba20cd7d78f69.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/f13045495891435f8553c8796f5e2160.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_17_color_FFFFFF_t_70_g_se_x_16_pic_center 3]: /images/20220828/0619b93a4d0b41a6b5b9b734e64e157d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/63597e58f1ad47bd9e508b6d7f773ae3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAam9obl9iaA_size_18_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: /images/20220828/421186efd01f48c6ac16c3e607cfd035.png