鱼眼相机相关知识及其标定矫正

阳光穿透心脏的1/2处 2023-02-18 03:09 107阅读 0赞

**首先列一下参考资料：**

*  [Fisheye camera model][]
 *  [鱼眼相机标定以及OpenCV实现][OpenCV]
 *  [鱼眼相机畸变矫正的汇总链接][Link 1]
 *  [鱼眼相机成像模型][Link 2]
 *  [鱼眼相机矫正原理][Link 3]
 *  [鱼眼相机畸变矫正的总结][Link 4]
 *  [鱼眼镜头的选型][Link 5]
 *  [Fisheye Calibration Basics][]  
    **鱼眼镜头**  
    鱼眼镜头是具有超广视角的镜头。与一般的广角镜头、超广角镜头相比，在设计规格上，鱼眼镜头的焦距更短、视角更广。相同画幅和像素尺寸下，鱼眼镜头能容纳更多景物信息。

**根据鱼眼投影圆与成像面的几何关系分类**：

鱼眼相机

圆形相机

桶形相机

全画幅相机

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70]  
**圆形鱼眼图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 1]  
**鼓型鱼眼图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 2]  
**全帧鱼眼图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 3]  
**鱼眼镜头模型分类**

r=f.sin a

r=f.a

r=2f.sina/2

r=2f.tana/2

鱼眼镜头模型

正交投影模型

等距投影模型

等角投影模型

体视投影模型

其中r是在成像平面上，对象到光轴的距离  
f是镜头的焦距  
a是入射光线与光轴的夹角

**鱼眼镜头模型优缺点比较：**

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>优点</th> 
   <th>缺点</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>正交投影模型</strong></td> 
   <td>映射关系简单，图像中心畸变小</td> 
   <td>边缘图像失真严重，仅适用视角小于180°的场景</td> 
  </tr> 
  <tr> 
   <td><strong>等距投影模型</strong></td> 
   <td>适用于视角大于180°场景，价格亲民</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><strong>等角投影模型</strong></td> 
   <td>图像不失真</td> 
   <td>映射关系较为复杂</td> 
  </tr> 
  <tr> 
   <td><strong>体视投影模型</strong></td> 
   <td>对视角接近180°的图像压缩较小</td> 
   <td>成像面积小，畸变较大，价格昂贵</td> 
  </tr> 
 </tbody> 
</table>

**鱼眼相机畸变分类：**

相机畸变

径向畸变

切向畸变

枕型畸变

桶型畸变

薄透镜畸变

离心畸变

[参考文档][Link 6]

**径向畸变公式：**  
 δ x r = x ( k 1 r 2 + k 2 r 4 + k 3 r 6 + . . . ) \\delta\_\{xr\} = x(k\_1r^2+k\_2r^4+k\_3r^6+...) δxr=x(k1r2\+k2r4\+k3r6\+...)  
 δ y r = y ( k 1 r 2 + k 2 r 4 + k 3 r 6 + . . . ) \\delta\_\{yr\} = y(k\_1r^2+k\_2r^4+k\_3r^6+...) δyr=y(k1r2\+k2r4\+k3r6\+...)

**薄透镜畸变公式：**  
 δ x p = s 1 ( x 2 + y 2 ) \\delta\_\{xp\} =s\_1(x^2+y^2) δxp=s1(x2\+y2)  
 δ y p = s 2 ( x 2 + y 2 ) \\delta\_\{yp\}=s\_2(x^2+y^2) δyp=s2(x2\+y2)  
**离心畸变公式：**  
 δ x t = p 1 ( 3 x 2 + y 2 ) + 2 p 2 x y \\delta\_\{xt\} =p\_1(3x^2+y^2)+2p\_2xy δxt=p1(3x2\+y2)\+2p2xy  
 δ y t = 2 p 1 x y + P 2 ( x 2 + 3 y 2 ) \\delta\_\{yt\} =2p\_1xy+P\_2(x^2+3y^2) δyt=2p1xy\+P2(x2\+3y2)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 4]s为薄透镜畸变参数，p为离心畸变参数。

## 鱼眼相机畸变矫正 ##

所谓的鱼眼相机，工程上视角超过１４０°的相机镜头，而鱼眼相机拍摄的图片因为广角更大，可以理解为全景图片。  
鱼眼相机矫正就是将全景图片进行转换成一张平面图片。效果图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 5]

## 鱼眼相机原理 ##

之所以叫鱼眼，是因为仿生鱼眼。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 6]  
当鱼眼靠近水面时。视角可以接近１８０°这种现象在光学原理中属于全反射和光路可逆。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 7]  
人类借鉴鱼类仰视水面智商半球空域的视觉与案例  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 8]成像系统模型  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 9]  
**鱼眼镜头成像畸变理论**  
在传统光学原理中，受到高斯原理成像视角限制，能成像的空间大小极为有限。  
![在这里插入图片描述][20200615193833694.png]  
为了突破成像限制，鱼眼相机引入畸变。  
![在这里插入图片描述][20200615194151942.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 10]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 11]

#### 标定方法： ####

1.  固定内外径法
2.  径向展开法
3.  改良版双经度法
4.  经纬映射法
5.  opencv法

拍摄天或者地的时候，**径向展开法**效果最好，**opecnv方法**处理结果也不错。  
**固定内外径法**和**改良版双经度法**、经纬映射在使用范围上有一定的限制  
**opencv法**是我用的效果最好，使用范围最广的一种方法。

相机标定是计算相机的外部和内部参数的过程。一旦标定了相机，就可以使用图像信息从2维的图像构建出3维图像。  
鱼眼相机的涉及到三个坐标系，分别是世界坐标系，相机坐标系和图像坐标系。  
![在这里插入图片描述][20200616160600762.png]  
其中外参包括旋转矩阵R，平移矩阵T，相机坐标系的原点在光学中心，x轴和y轴定义了图像平面。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 12]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 13]

[Fisheye camera model]: https://docs.opencv.org/3.0.0/db/d58/group__calib3d__fisheye.html#gad626a78de2b1dae7489e152a5a5a89e1
[OpenCV]: https://blog.csdn.net/u010784534/article/details/50474371
[Link 1]: https://blog.csdn.net/ben121_/article/details/89395653?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-7
[Link 2]: https://blog.csdn.net/u010128736/article/details/52864024?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-3
[Link 3]: https://blog.csdn.net/qq_15807167/article/details/52076986?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.nonecase
[Link 4]: https://blog.csdn.net/m_zhangJingDong/article/details/77896438?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
[Link 5]: https://blog.csdn.net/lipku/article/details/78288678
[Fisheye Calibration Basics]: https://ww2.mathworks.cn/help/vision/ug/fisheye-calibration-basics.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200615211547153.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020061521180583.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200615211907565.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200615212045264.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[Link 6]: https://khan.github.io/KaTeX/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200616103403822.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200615172341450.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200615172454290.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200615173526152.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200615192359633.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200616141904376.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[20200615193833694.png]: https://img-blog.csdnimg.cn/20200615193833694.png
[20200615194151942.png]: https://img-blog.csdnimg.cn/20200615194151942.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201130214320432.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20201130225822248.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[20200616160600762.png]: https://img-blog.csdnimg.cn/20200616160600762.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200622181251256.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200622182114809.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NDQ3J1bm5lcg==,size_16,color_FFFFFF,t_70