相机标定（三）-相机成像模型

青旅半醒 2023-07-21 05:28 184阅读 0赞

#### >>>文章索引<<< ####

[相机标定（一）-原理及内参、外参][-]  
[相机标定（二）-畸变校正，张正友标定法][- 1]  
相机标定（三）-相机成像模型

--------------------

# 1 人眼&相机结构 #

## 1.1 类比 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center]  
类比来说，相机就是计算机的“眼睛”：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 3]

## 1.2 成像 ##

本质上来说，图像是真实世界场景中在二维平面（成像平面）的投影，它记录了两类信息：

*  几何信息：位置、点、线等；
 *  光度信息：强度、色彩。

# 2 相机成像模型 #

*  小孔成像模型（Pinhole camera model）
 *  正交投影（Orthographic projection）
 *  缩放正交投影（Scaled orthographic projection）
 *  透视投影（Perspective projection）

## 2.1 小孔成像模型（Pinhole camera model） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 4]  
数学表示，具体也可[参考博客][-]：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 5]  
一般来说，我们使用右手坐标系：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 6]  
小孔成像模型实际上是透视投影（perspective projection）的一种最简单的形式。假设我们要将真实世界中的三维点 ( X , Y , Z ) T (X,Y,Z)^T (X,Y,Z)T投影为二维图像上的点 p = ( x , y ) T p=(x,y)^T p=(x,y)T，则有：

\{ X Z = x f Y Z = y f ⇒ \{ x = f X Z y = f Y Z (1) \\begin\{cases\} \\frac\{X\}\{Z\}=\\frac\{x\}\{f\} \\\\ \\frac\{Y\}\{Z\}=\\frac\{y\}\{f\} \\end\{cases\} \\Rightarrow \\begin\{cases\} x=f\\frac\{X\}\{Z\} \\\\ y=f\\frac\{Y\}\{Z\} \\end\{cases\} \\tag\{1\} \{ ZX=fxZY=fy⇒\{ x=fZXy=fZY(1)

## 2.2 正交投影（Orthographic projection） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 7]

*  3D场景距离相机无限远；
 *  所有投影线均平行于光轴。

则有 x = X , y = Y x=X, y=Y x=X,y=Y。

## 2.3 缩放正交投影（Scaled orthographic projection） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 8]

*  场景深度<<到相机的距离；
 *  场景中所有点的Z值均相同，如 Z 0 Z\_0 Z0。

这种情况相当于对垂直于相机Z轴方向上的一个平面场景进行成像，则对于场景中所有的点有： x = s X , y = s Y , s = f Z 0 x=sX, y=sY, s=\\frac\{f\}\{Z\_0\} x=sX,y=sY,s=Z0f。

## 2.4 透视投影（Perspective projection） ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 9]

# 3 相机参数 #

对于小孔成像模型中，有：

\{ x = f X Z y = f Y Z (2) \\begin\{cases\} x=f\\frac\{X\}\{Z\} \\\\ y=f\\frac\{Y\}\{Z\} \\end\{cases\} \\tag\{2\} \{ x=fZXy=fZY(2)

## 3.1 相机内参 ##

上述为理想状态下的公式，下面来分析几种特殊情况。

### 3.1.1 像素不是正方形 ###

当相机传感器（CCD）上的像素不是正方形时有：

\{ x = k f X Z y = l f Y Z (3) \\begin\{cases\} x=kf\\frac\{X\}\{Z\} \\\\ y=lf\\frac\{Y\}\{Z\} \\end\{cases\} \\tag\{3\} \{ x=kfZXy=lfZY(3)

*  x，y：坐标（pixel）；
 *  k，l：缩放因子（pixel/mm）
 *  f：焦距（mm）

令上式中： f x = k f , f y = l f f\_x=kf, f\_y=lf fx=kf,fy=lf，则有：

\{ x = f x X Z y = f y Y Z (4) \\begin\{cases\} x=f\_x\\frac\{X\}\{Z\} \\\\ y=f\_y\\frac\{Y\}\{Z\} \\end\{cases\} \\tag\{4\} \{ x=fxZXy=fyZY(4)

### 3.1.2 相机主点（principal point）不在原点 ###

即光轴与CCD中心有偏移。假设主点在图像上的坐标（像素）为 c x , c y c\_x, c\_y cx,cy，则有：

\{ x = f x X Z + c x y = f y Y Z + c y (5) \\begin\{cases\} x=f\_x\\frac\{X\}\{Z\}+c\_x \\\\ y=f\_y\\frac\{Y\}\{Z\}+c\_y \\end\{cases\} \\tag\{5\} \{ x=fxZX\+cxy=fyZY\+cy(5)

那么沿着相机的Z轴，有 X = Y = 0 X=Y=0 X=Y=0， x = c x , y = c y x=c\_x, y=c\_y x=cx,y=cy。

### 3.1.3 x轴与y轴不垂直 ###

理想情况下，x轴与y轴是相互垂直的，但一般情况下，x轴和y轴的夹角并不是90度。假设x轴和y轴之间的夹角为 θ \\theta θ，则有：

\{ x = f x X Z − f x c o t θ Y Z + c x y = f y s i n θ Y Z + c y (6) \\begin\{cases\} x=f\_x\\frac\{X\}\{Z\}-f\_x cot\\theta \\frac\{Y\}\{Z\}+c\_x \\\\ y=\\frac\{f\_y\}\{sin\\theta\}\\frac\{Y\}\{Z\}+c\_y \\end\{cases\} \\tag\{6\} \{ x=fxZX−fxcotθZY\+cxy=sinθfyZY\+cy(6)

### 3.1.4 内参矩阵 ###

组合所有参数，可以得到相机的内参矩阵 K K K：

K = \[ f x − f x c o t θ c x 0 f y s i n θ c y 0 0 1 \] ＝ \[ f x s c x 0 f y c y 0 0 1 \] (7) K= \\begin\{bmatrix\} f\_x & -f\_xcot\\theta & c\_x \\\\ 0 & \\frac\{f\_y\}\{sin\\theta\} & c\_y \\\\ 0 & 0 & 1 \\end\{bmatrix\} ＝ \\begin\{bmatrix\} f\_x & s & c\_x \\\\ 0 & f\_y & c\_y \\\\ 0 & 0 & 1 \\end\{bmatrix\} \\tag\{7\} K=⎣⎡fx00−fxcotθsinθfy0cxcy1⎦⎤＝⎣⎡fx00sfy0cxcy1⎦⎤(7)

## 3.2 相机外参 ##

相机外参反映了相机在世界坐标空间中的位姿，可通过一个刚性变换来表示，通常包含平移 T T T和旋转 R R R。

平移矩阵：

T = \[ T X T Y T Z \] (8) T= \\begin\{bmatrix\} T\_X \\\\ T\_Y \\\\ T\_Z \\end\{bmatrix\} \\tag\{8\} T=⎣⎡TXTYTZ⎦⎤(8)

旋转矩阵：

R = \[ r 1 1 r 1 2 r 1 3 r 2 1 r 2 2 r 2 3 r 3 1 r 3 2 r 3 3 \] (9) R= \\begin\{bmatrix\} r\_11 & r\_12 & r\_13 \\\\ r\_21 & r\_22 & r\_23 \\\\ r\_31 & r\_32 & r\_33 \\end\{bmatrix\} \\tag\{9\} R=⎣⎡r11r21r31r12r22r32r13r23r33⎦⎤(9)

旋转矩阵是正交的，所以有： R T R = I R^TR=I RTR=I。

# 4 畸变 #

畸变是光学透镜固有的透视失真特性，目前所有的镜头都存在畸变，只是程度不同。畸变又分为径向畸变和切向畸变，这里只以径向畸变为例。常见的径向畸变有桶形畸变、枕形畸变等：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 10]  
径向畸变可以被建模为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 11]  
具体的畸变校正过程可以[参考博客][- 1]。

# 5 相机标定 #

相机标定的目的就是获取前文提到的相机内参、外参和畸变系数。通常，标定方法分为两步：（1）从不同角度捕获棋盘格图像；（2）检测角点并计算相机参数。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 13]

可使用OpenCV或其他相机标定程序来完成参数计算。

### 参考 ###

\[1\] 一个pdf，下载地址找不到了=\_=

[-]: https://blog.csdn.net/cfan927/article/details/104333527
[- 1]: https://blog.csdn.net/cfan927/article/details/104384009
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center]: /images/20230528/16ab12a0acb8453e9ab6edfd3917417b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230528/e7d99adb06964c65b8c69dc23e06f0a4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20230528/23a9f33272fd4f32bc0d15c135fd0e71.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20230528/fdfaba1a47934ef9bfe331c2e4b98a40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20230528/eb8801074dd3495ab2bec7b34dc033eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20230528/933ea12186174d5f9f72f044b6137664.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20230528/ea0b9261662045939f915d3fc19b6c02.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20230528/9d15759fa2d34b138ae4a2eddfdfcfa8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20230528/aae39bbefb71416983a05ac7941825e6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20230528/87faa6751be2461d95bfeebcdd8d81f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20230528/9f67f017333147de9d8f594183ca3fe8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20230528/3fc5b182038c4099ba5f50435a6bfe1e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20230528/907721cd8ab942a2a1b84943dec7fc77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NmYW45Mjc_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20230528/eb8c03ff221a463e9c85365d3fe5607a.png