3D相机技术调研(飞行时间+双目+结构光)

谁践踏了优雅 2022-09-04 09:47 225阅读 0赞

## 1. **深度估计3D相机方案** ##

目前市面上常有的 3D 相机方案就就是这3种：

1.  **飞行时间(Time of flight,TOF)**，代表公司微软Kinect2，PMD，SoftKinect， 联想 Phab，在手机中一般用于3D建模、AR应用，AR测距(华为TOF镜头)
2.  **双目视觉(Stereo Camera)**，代表公司 Leap Motion， ZED， 大疆;
3.  **结构光(Structured-light)**，代表公司有奥比中光，苹果**iPhone X**(Prime Sense)，微软 Kinect1，英特尔RealSense, Mantis Vision 等，在手机（**iPhone，华为**）中3D结构光主要用于人脸解锁、支付、美颜等场景。

<table> 
 <tbody> 
 <tr> 
 <th>相机类型</th> 
 <th>TOF(飞行时间)</th> 
 <th>RGB双目(Stereo Camera)</th> 
 <th>结构光(Structured light)</th> 
 </tr> 
 <tr> 
 <th colspan="1">测距方式</th> 
 <td colspan="1">主动式</td> 
 <td colspan="1">被动式</td> 
 <td colspan="1">主动式</td> 
 </tr> 
 <tr> 
 <th>工作原理</th> 
 <td>根据光的飞行时间(相位差异)直接测量距离</td> 
 <td> 基于视差原理，RGB图像特征点匹配，三角测量法 </td> 
 <td>主动投射已知编码图案，提升特征匹配的效果，三角测量法</td> 
 </tr> 
 <tr> 
 <th colspan="1">分辨率</th> 
 <td colspan="1"> 一般低于640×480， Kinect2是512 x 424 </td> 
 <td colspan="1">可达2K高分辨率</td> 
 <td colspan="1">可达1080×720</td> 
 </tr> 
 <tr> 
 <th colspan="1">帧率</th> 
 <td colspan="1">较高，可达上百帧</td> 
 <td colspan="1">一般在30fps</td> 
 <td colspan="1">一般在30fps</td> 
 </tr> 
 <tr> 
 <th colspan="1">测量精度</th> 
 <td colspan="1"> 测量精度最高可达厘米 Kinect2深度误差在1.5cm左右 </td> 
 <td colspan="1">近距离可达毫米精度,2m内误差千分之五(5mm)</td> 
 <td colspan="1">近距离能够达到高精度：0.01mm-1mm</td> 
 </tr> 
 <tr> 
 <th colspan="1">测量范围</th> 
 <td colspan="1">可以测量较远距离，100m以内</td> 
 <td colspan="1">受基线限制，一般只能测量较近的距离，距离越远误差越大，一般在2m（基线10mm）以内</td> 
 <td colspan="1">测量距离一般为10m以内</td> 
 </tr> 
 <tr> 
 <th colspan="1">抗干扰</th> 
 <td colspan="1">受环境影响较小</td> 
 <td colspan="1">黑暗或者纹理特征不明显等环境干扰</td> 
 <td colspan="1">室外强光下受干扰较大</td> 
 </tr> 
 <tr> 
 <th colspan="1">功耗</th> 
 <td colspan="1">功耗较大，需要全面照射</td> 
 <td colspan="1">较大，纯算法功耗</td> 
 <td colspan="1">一般，需要局部区域投射图案</td> 
 </tr> 
 <tr> 
 <th colspan="1">优点</th> 
 <td colspan="1"> 
 <ul> 
 <li>检测距离远。在激光能量够的情况下可达几十米。</li> 
 <li>受环境光干扰比较小。</li> 
 </ul></td> 
 <td colspan="1"> 
 <ul> 
 <li> 硬件要求低，成本也低。普通 CMOS 相机即可。但比较消耗计算资源 </li> 
 <li> 室内外都适用。只要光线合适，不要太昏暗。 </li> 
 </ul></td> 
 <td colspan="1"> 
 <ul> 
 <li>方案成熟，相机基线可以做的比较小，方便小型化。</li> 
 <li>资源消耗较低，单帧 IR 图就可计算出深度图，功耗低。</li> 
 <li>主动光源，夜晚也可使用。</li> 
 <li>在一定范围内精度高，分辨率高，分辨率可达 1280x1024,帧率可达 60FPS。</li> 
 </ul></td> 
 </tr> 
 <tr> 
 <th colspan="1">缺点</th> 
 <td colspan="1"> 
 <ul> 
 <li>对设备要求高，特别是时间测量模块。</li> 
 <li>资源消耗大。 该方案在检测相位偏移时需要多次采样积分，运算量大。</li> 
 <li>边缘精度低。</li> 
 <li> 限于资源消耗和滤波，帧率和分辨率都没办法做到较高。目前消费类最大也就 VGA。 </li> 
 </ul></td> 
 <td colspan="1"> 
 <ul> 
 <li>对环境光照非常敏感。光线变化导致图像偏差大，进而会导致匹配失败或精度低。</li> 
 <li> 不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配，没有特征会导致匹配失败。 </li> 
 <li> 计算复杂度高。该方法是纯视觉的方法，对算法要求高，计算量较大。 </li> 
 <li> 基线限制了测量范围。测量范围和基线（两个摄像头间距）成正比，导致无法小型化。 </li> 
 </ul></td> 
 <td colspan="1"> 
 <ul> 
 <li>容易受环境光干扰，室外体验差。</li> 
 <li>随检测距离增加，精度会变差。</li> 
 </ul></td> 
 </tr> 
 <tr> 
 <th colspan="1">应用场景</th> 
 <td colspan="1"> 无人驾驶车，机器人，Kinect2，在手机中，TOF由于测量距离长，一般用于3D建模、AR应用，AR测距(华为TOF镜头) </td> 
 <td colspan="1">基于手机的双目应用较少，商用场景较少</td> 
 <td colspan="1"> 机器人，Kinect1，手机（iPhone，华为）中3D结构光主要用于人脸解锁、支付、美颜等场景 </td> 
 </tr> 
 </tbody> 
</table>

*  从上面三种主流的 3D 相机成像方案来看，各有优劣，但是从实际应用场景来看，在**非无人驾驶领域**，结构光，特别是**散斑结构光**的用途是最广泛。
 *  因为从精度，分辨率，还有应用场景的范围来看双目和 TOF 都没有办法做到最大的平衡。
 *  而且对于结构光容易受环境光干扰，特别是太阳光影响问题，鉴于此类相机都有红外激光发射模块，非常容易改造为主动双目来弥补该问题。
 *  当然这三种方案在发展过程中也有一些互相融合趋势，如主动双目+结构光，取长补短，使 3D 相机能适应更多的场景。
 *  也有一些同时使用，如**手机前置基本确认会采用结构光来做 FaceId（人脸认证），但是后置用来做 AR 应用，结构光和 TOF 都有机会**。
 *  虽然项目具体使用哪种方案，要结合当前硬件资源，对性能要求等来确定，但从最广泛的使用角度来看，**散斑结构光**无疑是目前最佳的方案。

--------------------

## **2**. **深度估计技术说明** ##

### **(1) 双目相机（双目立体视觉法）** ###

包括一套经过校准的相机（至少两个），已经为其估算了一个通用的3D参考系统。深度图是基于立体三角测量的。即使有多个研究让我们在这方面取得了相当大的进步，但是多目相机估计的深度仍然是不可靠的，特别是在强度/色彩均匀的场景中；

RGB双目相机因为非常**依赖纯图像特征匹配**，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果**被测场景**本身**缺乏纹理**，也**很难**进行**特征提取和匹配**。

产品：

1.  [http://www.luster3ds.com/][http_www.luster3ds.com]

### **(2) 结构光3D** ###

扫描仪将红外结构光图案投射到现场。当将图案投影到三维形状的表面上时，观察到的图案几何扭曲\[79\]。通过比较预期的投影模式（如果场景中没有物体）和变形的观察模式，可以恢复表面形状的精确几何重建。可以将各种图案投射到场景上，例如光条纹或任意的条纹。深度估计可能是不可靠的，特别是在反射或透明表面的情况下。**Kinect传感器（版本1）属于这种类型的相机**。

*  苹果公司：SMI 眼球追踪技术； PRIMESense 3D结构光技术包括器件和实现方案；FACESHIFT 面部捕捉技术，先行垄断了3D人脸核心技术。
 *  OPPO FINDX：3D结构光采用奥比中光，体验和算法采用 FACE++ 旷视。成为安卓阵营首个3D结构光技术接近苹果XS的终端。
 *  华为 MATE20 PRO：自主研发，误识别率不高于百万分之一,军用级别安全可靠，更配合多维度用户使用场景，3D建模等。