python opencv 摄像头标定_（五）单目摄像头标定与畸变矫正（C++，opencv）

逃离我推掉我的手 2022-10-31 13:47 338阅读 0赞

本文将梳理一种单目摄像头标定和矫正的方法，在梳理的过程中，首先使用网上离线的图片数据跑通流程，然后接入自己的camera，手动采集标定图像，实时矫正相机的畸变，然后输出矫正后的图像。全文基于Opencv使用C++实现，文末附带相应的python代码。

1. 基本概念

1.1 什么是畸变

下面两张示意图可以让大家直观的感受摄像头的畸变效果，简单的讲摄像头的畸变会让人们看到的图像出现“拉伸”或“扭曲”的直观感受，出现“横不平，竖不直”的现象。虽然畸变现象改变了图像原有的面貌，但在日常生活中也有很多应用之处，比如转弯路口的凸透镜，汽车的左右后视镜等，利用畸变效果扩大视野。但自动驾驶中，往往需要利用图像进行测量或者识别，为了保证精度，在这种场景下，就需要尽量还原图像，也就是所说的“畸变矫正”。畸变效果示意图一畸变效果示意图二

1.2 为什么会产生畸变

在进行畸变矫正之前，我们需要简单的理解产生畸变的原因。通常畸变可以分为两种，一种是径向畸变，一种是切向畸变，如下面两张图所示。

径向畸变有两种形态，即桶形畸变和枕形畸变，从效果上看一个突出，一个内凹。产生径像畸变的原因是光学镜头在生产制造的过程中，很难保证厚度的均匀，离透镜中心越远的地方光线弯曲越大，从而产生径向畸变。径向畸变(图片来源https://blog.csdn.net/waeceo/article/details/50580808)

切向畸变如下图所示，从效果上看，一个平直的物体在照片中看上去会有“倾斜”，“大小不一”的现象。出现切向畸变的原因是由于镜头与图像传感器不完全平行造成的(可理解为投影仪与影布不平行)。切向畸变(图片来源https://blog.csdn.net/waeceo/article/details/50580808)

1.3 什么是摄像头参数

1)相机矩阵：包括焦距(fx，fy)，光学中心(Cx，Cy)，完全取决于相机本身，是相机的固有属性，只需要计算一次，可用矩阵表示如下：\[fx, 0, Cx; 0, fy, cy; 0,0,1\];

2) 畸变系数：畸变数学模型的5个参数 D = (k1，k2， P1， P2， k3)；

3)相机内参：相机矩阵和畸变系数统称为相机内参，在不考虑畸变的时候，相机矩阵也会被称为相机内参；

4) 相机外参：通过旋转和平移变换将3D的坐标转换为相机2维的坐标，其中的旋转矩阵和平移矩阵就被称为相机的外参；描述的是将世界坐标系转换成相机坐标系的过程。

1.4 摄像头标定的流程

相机的标定过程实际上就是在4个坐标系转化的过程中求出相机的内参和外参的过程。这4个坐标系分别是：世界坐标系(描述物体真实位置)，相机坐标系(摄像头镜头中心)，图像坐标系(图像传感器成像中心，图片中心，影布中心，单位mm)，像素坐标系(图像左上角为原点，描述像素的位置，单位是多少行，多少列)。

(1)世界坐标系

![equation?tex=%5CRightarrow][equation_tex_5CRightarrow] 相机坐标系：求解摄像头外参(旋转和平移矩阵)；

(2)相机坐标系

![equation?tex=%5CRightarrow][equation_tex_5CRightarrow] 图像坐标系：求解相机内参(摄像头矩阵和畸变系数)；

(3) 图像坐标系

![equation?tex=%5CRightarrow][equation_tex_5CRightarrow] 像素坐标系：求解像素转化矩阵(可简单理解为原点从图片中心到左上角，单位厘米变行列)

2. 摄像头标定与矫正实践

2.1 离线图片实现摄像头标定和矫正

1)Cmakelist 配置Opencv

//要求cmake最低版本

cmake\_minimum\_required(VERSION 3.1)

// 工程名

project(camera\_calibration)

set(CMAKE\_CXX\_STANDARD 11)

add\_executable(camera\_calibration main.cpp)

// 配置opencv

find\_package(OpenCV REQUIRED)

target\_link\_libraries(camera\_calibration $\{OpenCV\_LIBS\}))

2)导入棋盘格图片；

在标定过程中，需要使用棋盘格，拍摄棋盘格在多个角度的图片，这里省去了拍摄的过程，直接使用网上下载的棋盘格图片。

\#include

\#include "opencv2/imgproc.hpp"

\#include "opencv2/calib3d.hpp"

\#include

using namespace std;

using namespace cv;

\#define PATH "/camera\_calibration/image\_my/"

\#define NUM 30

int main() \{

// 定义用来保存导入的图片

Mat image\_in;

// 定义用来保存文件路径的容器

vector filelist;

// 定义用来保存旋转和平移矩阵的容器

vector rvecs, tvecs;

// 定义相机矩阵，畸变矩阵

Mat cameraMatrix;

Mat distCoeffs;

int flags = 0;

// 定义保存图像二维角点的容器

vector corners;

// 定义保存图像三维角点的容器

vector > corners2;

// 定义保存图像二维和三维角点的容器

vector worldPoints;

vector > worldPoints2;

//\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*读取一个文件夹中的所有图片(所有标定图片)\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

for(int i=1; i

stringstream str;

str << PATH << setw(2) << setfill('0') << i << ".jpg";

// 保存所有图片的路径，放入容器filelist中

filelist.push\_back(str.str());

image\_in = imread(str.str());

\}棋盘格标定示意图一棋盘格标定示意图二

3)找角点

标定前需要找到棋盘格中黑白框结合的角点，opencv提供了findChessboardCorners函数来完成这个工作。这个函数的输入参数为：输入图片，图片的内角点数，输出角点，求解方式；

//\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*找角点×××××××××××××××××××××××××××××××× for(int i=0;i

//cout <

// 找图片的角点，参数分别为： // 输入图片，图片内角点数(不算棋盘格最外层的角点)，输出角点，求解方式 bool found = findChessboardCorners(image\_in, Size(8,6),corners,CALIB\_CB\_ADAPTIVE\_THRESH|CALIB\_CB\_NORMALIZE\_IMAGE);

// 将找到的角点放入容器中； corners2.push\_back(corners);

//画出角点 drawChessboardCorners(image\_in,Size(9,6),corners, found);

//显示图像 imshow("test",image\_in);

// 图像刷新等待时间，单位ms waitKey(100);

// 世界坐标系的二维vector 放入三维vector worldPoints2.push\_back(worldPoints);

\}角点检测示意图一角点检测示意图二

4)生成世界坐标系下三维空间点

畸变矫正的本质是通过寻找棋盘格上角点，在图像中和真实世界中的对应关系，来计算相机参数。因此我们需要生成真实世界中的棋盘格坐标点。由于矫正的过程与标定过程的比例尺一样，实际是等比例缩放，因此这些点可以不与真实的尺寸对应，只要成比例就行。

//\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*生成一组object\_points\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

for(int j = 0;j<6;j++)\{

for(int k = 0; k<8;k++)\{

worldPoints.push\_back(Point3f(j\*1.0 ,k\*1.0 ,0.0f));

5)标定

采用calibrateCamera函数能够计算出相应的相机参数，实现相机的标定，这个函数的输入参数依次为：世界坐标系内角点, 图像的角点， 图像的尺寸，相机矩阵，畸变矩阵，旋转矩阵，平移矩阵，求解方式。 其中需要注意的是，世界坐标系内的角点和图像的角点 二者的维度一定要对应，要么全是二维Vector，要么全是三维Vector 即Vector> 或vector

calibrateCamera(worldPoints2,corners2,image\_in.size(),cameraMatrix,distCoeffs,

rvecs,tvecs,CV\_CALIB\_FIX\_PRINCIPAL\_POINT);

查看对应的相机参数：

//\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*查看参数\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

cout << " Camera intrinsic: " << cameraMatrix.rows << "x" << cameraMatrix.cols << endl;

cout << cameraMatrix.at(0,0) << " " << cameraMatrix.at(0,1) << " " << cameraMatrix.at(0,2) << endl;

cout << cameraMatrix.at(1,0) << " " << cameraMatrix.at(1,1) << " " << cameraMatrix.at(1,2) << endl;

cout << cameraMatrix.at(2,0) << " " << cameraMatrix.at(2,1) << " " << cameraMatrix.at(2,2) << endl;

cout << distCoeffs.rows << "x" <

cout << distCoeffs << endl;

for(int i = 0;i < distCoeffs.cols;i++)

cout << distCoeffs.at(0,i) << " " ;

cout <

相机参数

6)矫正

opencv提供了多种畸变矫正的函数，这里使用最基本的undistort, 输入参数分别为：输入图像，矫正后图像，相机矩阵，畸变矩阵。

//\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*畸变矫正\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

// 导入要矫正的图片

Mat test\_image2 = imread("/camera\_calibration/test\_image.jpg");

Mat show\_image;

undistort(test\_image2, show\_image, cameraMatrix, distCoeffs);矫正前的图片矫正后的图片

2.2 在线Camera数据采集

打印一张棋盘格，固定在木板上，使用摄像头从各个角度拍摄棋盘格图像。本文使用一个外接Usb罗技摄像头，以下是采集摄像头图像时所使用的程序，按下S键保存当帧的图像。这里需要注意的是waitKey()这个函数，其作用对象是显示的图像窗口，不能对控制台起作用，也就是说在使用waitKey这个函数时，必须在前面显示图片，然后才起作用。

\#include

using namespace std;

using namespace cv;

int main() \{

VideoCapture capture(1);

Mat img,img\_flip;

char filename\[200\];

int i =0;

int key = 0;

while (capture.isOpened()) \{

capture >> img;

flip(img, img\_flip, 0);

// imshow("test0",img);

imshow("test1",img\_flip);

//char key\_board = waitKey(10);

key = waitKey(30);

cout <

if (key == 's') \{

sprintf(filename, "%s%d%s", "../image/", i++, ".jpg");

imwrite(filename, img\_flip);

return 0;

2.3 在线摄像头畸变矫正

// 当摄像头打开时，实时矫正图片，并实时输出；

while(capture.isOpened())\{

capture >> frame;

flip(frame,fz,-1);//1代表水平方向旋转180度

undistort(fz,show, cameraMatrix,distCoeffs);

imshow("raw",fz);

waitKey(30);

imshow("corrected2",show);

waitKey(30);

3. 其他

3.1 python 代码

import numpy as np

import cv2

import glob

import matplotlib.pyplot as plt

%matplotlib

\# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)

objp = np.zeros((6\*8,3), np.float32)

objp\[:,:2\] = np.mgrid\[0:8, 0:6\].T.reshape(-1,2)

\# Arrays to store object points and image points from all the images.

objpoints = \[\] \# 3d points in real world space

imgpoints = \[\] \# 2d points in image plane.

\# Make a list of calibration images

images = glob.glob('calibration\_wide/GO\*.jpg')

\# Step through the list and search for chessboard corners

for idx, fname in enumerate(images):

img = cv2.imread(fname)

gray = cv2.cvtColor(img, cv2.COLOR\_BGR2GRAY)

\# Find the chessboard corners

ret, corners = cv2.findChessboardCorners(gray, (8,6), None)

\# If found, add object points, image points

if ret == True:

objpoints.append(objp)

imgpoints.append(corners)

\# Draw and display the corners

cv2.drawChessboardCorners(img, (8,6), corners, ret)

\#write\_name = 'corners\_found'+str(idx)+'.jpg'

\#cv2.imwrite(write\_name, img)

cv2.imshow('img', img)

cv2.waitKey(500)

cv2.destroyAllWindows()

import pickle

%matplotlib inline

\# Test undistortion on an image

img = cv2.imread('calibration\_wide/test\_image.jpg')

img\_size = (img.shape\[1\], img.shape\[0\])

\# Do camera calibration given object points and image points

ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, img\_size,None,None)

dst = cv2.undistort(img, mtx, dist, None, mtx)

cv2.imwrite('calibration\_wide/test\_undist.jpg',dst)

\# Save the camera calibration result for later use (we won't worry about rvecs / tvecs)

dist\_pickle = \{\}

dist\_pickle\["mtx"\] = mtx

dist\_pickle\["dist"\] = dist

pickle.dump( dist\_pickle, open( "calibration\_wide/wide\_dist\_pickle.p", "wb" ) )

\#dst = cv2.cvtColor(dst, cv2.COLOR\_BGR2RGB)

\# Visualize undistortion

f, (ax1, ax2) = plt.subplots(1, 2, figsize=(20,10))

ax1.imshow(img)

ax1.set\_title('Original Image', fontsize=30)

ax2.imshow(dst)

ax2.set\_title('Undistorted Image', fontsize=30)

3.2 参考资料

3)OpenCv camera calibration with C++ (Unsupported format or combination of formats error)stackoverflow.com![2b169c55ec5abe563f206c84cb22932f.png][]

[equation_tex_5CRightarrow]: /images/20221024/f6e0bbfb20694f689a1e316fa0d4046a.png
[2b169c55ec5abe563f206c84cb22932f.png]: /images/20221024/0fc22fed862f4e69b098dc20b0799f75.png