MFC+OPENCV摄像机标定

野性酷女 2022-08-27 03:44 219阅读 0赞

# 摄像机的追踪标定 #

# 本文是我第一次在csdn上写的博客，有不详之处，望大家见谅，也希望大家多多支持。 #

废话不多说，直接进入正题。对于摄像机标定，是学习图像处理和机器视觉不可回避的话题，这方面的现有理论已相对成熟，国内外学者所发的相关文章不少。摄像机标定主要分为传统相机标定，摄像机自标定，主动视觉标定。在这三类标定中，高精度标定用传统摄像机标定，但标定算法复杂，需知道高精度标定块结构信息；主动视觉摄像机标定方法，通常可以线性求解，鲁棒性比较高，但 不能使用于摄像机运动未知和无法控制的场合；摄像机自标定方法， 仅需要建立图像之间的对应，灵活性强，潜在 应用范围广，不足之处是非线性标定，鲁棒性不高。

在我的实验项目中，我采用介于传统标定和自标定之间的张正友棋盘格追踪标定，该标定方法易于操作，标定精度高，还有一点opencv中的标定算法也采用张正友标定法。在实验项目开始之前，我看了《计算机视觉》马颂德，张正友这本书，还看了张正友的棋盘标定法论文（英文不好懂），理论知识就足以。接下来，我用matlab中的工具箱进行了摄像机标定，之所以先采用matlab是因为可以让我们先了解相机标定原理和过程，同时标定精度高，在角点提取和畸变优化方面，功能强大，对计算出来的参数还可以进行迭代优化，关于matlab的相机标定大家可参考http://blog.csdn.net/zshtang/article/details/5523287和[http://www.vision.caltech.edu/bouguetj/calib\_doc/][http_www.vision.caltech.edu_bouguetj_calib_doc] ，同时matlab采用的是tasi两部标定算法。

接下来，我将重点放在相机标定中MFC界面的设计，opencv代码的编写上，在这之中遇到了许多小问题，希望对大家以后的开发有所借鉴。我的开发换进是VC6.0+opencv1.0（这种搭配应该是上个世纪的产物）。我将代码的实现分为两大模块，分别是实现摄像机打开关闭截图模块和标定模块（计算出内外参数，结果显示在edit box中），总体的界面设计如下图：

![SouthEast][]

![Image 1][]

因为opencv1.0版本在win7系统中会出现一些问题，包括线程的创建，这些我会一一解答。

首先，对于摄像机的打开关闭，我没有采用opencv提供的函数，如cvCreateCameraCapture,cvQueryImage的函数，因为opencv1.0默认的是XP系统，win7上会出现黑屏。原因是老版本的opencv1.0采用的是Video for Windows (VFW)的视频读写框架，而新版本的opencv采用DirectShow这一通用读写框架。而现在用的视频采集卡支持通用框架（如DirectShow，V4L），但可能不支持VFW了，所以才遇到我之前遇到的情况，摄像头内容无法被软件读取到！去网上下载**CameraDS**包（基于DirectShow），利用类CCameraDS实现摄像头的读取，详见：

摄像机的打开代码如下：

void CImageShowDlg::OnButton1() 
    {
    	// TODO: Add your control notification handler code here  
        if (!camera.OpenCamera(0,false))  
        {  
            AfxMessageBox("无法打开摄像头");  
            return;  
        }  
       
        IplImage* m_Frame;  
        m_Frame=camera.QueryFrame();  
        CvvImage m_CvvImage;  
        m_CvvImage.CopyOf(m_Frame,1);     
        if (true)  
        {  
            m_CvvImage.DrawToHDC(hDC, &rect);  
        } 
    	
        SetTimer(1,10,NULL);  // 设置计时器,每10ms触发一次事件
    }

![Image 1][]

在上述代码中，我设置了timer消息，因为如果采用在while循环里面读取每一帧图像，是可以将摄像机视频流显示出来，但会发现其他按钮没有任何反应，原因在于处理器被while（）循环函数完全占有，没办法处理其他进程。所以我采用了类似于创建一个线程概念（有点时间片轮转的意思），每个10秒触发一次计时器，去读取视频帧。

void CImageShowDlg::OnTimer(UINT nIDEvent) 
    {
        // TODO: Add your message handler code here and/or call default	 
        m_Frame=camera.QueryFrame();
      
        CvvImage m_CvvImage;  
        m_CvvImage.CopyOf(m_Frame,1);     
        if (true)  
        {  	
            m_CvvImage.DrawToHDC(hDC, &rect);  
        }

}

![Image 1][]

接下来，就是摄像机的关闭，比较简单。

void CImageShowDlg::OnButton2() 
    {
         // TODO: Add your control notification handler code here
         camera.CloseCamera();
         KillTimer(1);
    }

建议大家如果要将图片显示在界面上，可用CvvImage这个类，非常方便，否则还要写设置图片大小和显示两个函数。

接下来就是，截取符合要求的棋盘格图片，就是要判断读取到的帧图片角点提取数量是否符合要求，如果是，则保存图片，代码如下。

void CImageShowDlg::OnButton3() 
    {
    	// TODO: Add your control notification handler code here
    	char *FileName="wujiang";
    	char tmpfile[100]={'\0'};
    	static int count=1;
    	sprintf(tmpfile,"%s\\%d.bmp",FileName,count++);
    
    	Sleep(2000);
    		
    	CvSize board_size = cvSize(4,6);    /* 定标板上每行、列的角点数 */
    	int board_n=board_size.width*board_size.height;//标定板上的内角点总数
    	CvPoint2D32f* image_points_buf = new CvPoint2D32f[board_n];   /* 缓存每幅图像上检测到的角点 */
    
    	int num= -1 ;//用于存储角点个数。 所有变量定义后必须初始化，这是一个编程优良习惯
    
    	int found=cvFindChessboardCorners( m_Frame, board_size,image_points_buf, &num, CV_CALIB_CB_ADAPTIVE_THRESH);
    
    	if (found==0)
    	{
    		
    		MessageBox("角点读取失败");
    	} 
    	else
    	{
    		cvSaveImage(tmpfile,m_Frame);
    	}
    }

下来是，摄像机标定算法的代码实现和将计算结果显示在edit box中。

void CImageShowDlg::OnImageShow() 
    {
    	// TODO: Add your control notification handler code here
    	ifstream fin("calibdata.txt"); /* 定标所用图像文件的路径 */
    	ofstream fout("caliberation_result.txt");  /* 保存定标结果的文件 */
    	ofstream fout1("Distortion1.txt");
    	ofstream fout2("Intrinsic1.txt");
    
    
    	int image_count=0;  /* 图像数量 */
    	int sucesses=0;
    	CvSize image_size;  /* 图像的尺寸 */
    
    	CvSize board_size = cvSize(4,6);    /* 定标板上每行、列的角点数 */
    	int board_n=board_size.width*board_size.height;//标定板上的内角点总数
    	CvPoint2D32f* image_points_buf = new CvPoint2D32f[board_n];   /* 缓存每幅图像上检测到的角点 */
    	Seq<CvPoint2D32f> image_points_seq;  /* 保存检测到的所有角点 */ //Seq是一个队列模板类
    
    	string filename;
    
    	int count= -1 ;//用于存储角点个数。 所有变量定义后必须初始化，这是一个编程优良习惯
    
    	while (getline(fin,filename))
    	{
    		image_count++;
    		
    		Image<uchar> view(filename);	//Image是个类
    
    		if (image_count == 1) 
    		{
    			image_size.width = view.size().width;	//传递图像的宽和高
    			image_size.height = view.size().height;
    		}
    
    		int found=cvFindChessboardCorners( view.cvimage, board_size,
                image_points_buf, &count, CV_CALIB_CB_ADAPTIVE_THRESH);
    			if (found==0)
    	  //cvFindChessboardCorners(要检测的棋盘图，图中每行和每列的角点个数，检测到的角点，输出——角点个数，操作标志)
    	  //CV_CALIB_CB_ADAPTIVE_THRESH - 使用自适应阈值（通过平均图像亮度计算得到）将图像转换为黑白图，而不是一个固定的阈值。
    	  //CV_CALIB_CB_FILTER_QUADS - 使用其他的准则（如轮廓面积，周长，方形形状）来去除在轮廓检测阶段检测到的错误方块。
    	  //返回值：如果所有角点都被检测到且它们都被以一定顺序排布（一行一行地，每行从左到右），函数返回非零值，
    	  //否则在函数不能发现所有角点或者记录它们地情况下，函数返回0
    		{	
    			MessageBox("角点读取失败");
    		} 
    		else 
    		{
    			sucesses++;
    			Image<uchar> view_gray(view.size(),8,1);//Image(CvSize size, int depth, int channels )
    			//rgb2gray(view,view_gray);
    			cvCvtColor(view.cvimage, view_gray.cvimage, CV_BGR2GRAY);
    
    			/* 亚像素精确化 */
    
    			cvFindCornerSubPix( view_gray.cvimage, image_points_buf, count, cvSize(11,11),
    				cvSize(-1,-1), cvTermCriteria( CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 30, 0.1 ));//对粗提取的角点进行精确化
    			image_points_seq.push_back(image_points_buf,count);//add some elements at rear把精确化的角点坐标传递给image_points_seq
    
    			/* 在图像上显示角点位置 */
    
    			cvDrawChessboardCorners( view.cvimage, board_size, image_points_buf, count, 1);//用于在图片中标记角点
    			//cvDrawChessboardCorners(结果图像<必须是8位彩色图像>，每行和每列的内角点数目，
    			//检测到的角点数组，角点数目，指示完整地棋盘被发现(≠0)还是没有发现(=0))
    			view.show("calib");//显示图片
    			cvWaitKey(500);//用于暂停，单位是毫秒
    			view.close();
    		}
    		fout<<"图片："<<image_count<<"  ";
    		fout<<"找到角点数："<<count<<endl;
    	}
    
    	
    	/************************************************************************/
    	/* 
    		//以下是利用包装后的数据结构（seq类）进行操作，比基于openCV的数据结构更方便，结构清晰。
                                                                         */
    	int total = image_points_seq.length();//所有检测出的角点数
    	delete []image_points_buf;
    
    
    	/************************************************************************
    	       摄像机定标
    	*************************************************************************/
    
    
    	/*棋盘三维信息*/
    
    	CvSize square_size = cvSize(10,10);  /* 实际测量得到的定标板上每个棋盘格的大小 */
    	Matrix<double> object_points(1,board_size.width*board_size.height*sucesses,3); /* 保存定标板上角点的三维坐标 */
    							//参数(row,col,channel)
    	Matrix<double> image_points(1,image_points_seq.cvseq->total,2); /* 保存提取的所有角点 */
    	Matrix<int> point_counts(1,sucesses,1); /* 每幅图像中角点的数量 */
    
    	/*内外参数*/
    
    	Matrix<double> intrinsic_matrix(3,3,1); /* 摄像机内参数矩阵 */
    	Matrix<double> distortion_coeffs(1,4,1); /* 摄像机的4个畸变系数：k1,k2,p1,p2 */
    	Matrix<double> rotation_vectors(1,sucesses,3); /* 每幅图像的旋转行向量 */
    	Matrix<double> translation_vectors(1,sucesses,3); /* 每幅图像的平移行向量 */
    
    
    	/* 初始化定标板上角点的三维坐标 */
    
    	int i,j,t;
    
    	for (t=0;t<sucesses;t++) {
    		for (i=0;i<board_size.height;i++) {
    			for (j=0;j<board_size.width;j++) {
    				/* 假设定标板放在世界坐标系中z=0的平面上 */
    				object_points(0,t*board_size.height*board_size.width+i*board_size.width+j,0) = i*square_size.width;
    				object_points(0,t*board_size.height*board_size.width+i*board_size.width+j,1) = j*square_size.height;
    				object_points(0,t*board_size.height*board_size.width+i*board_size.width+j,2) = 0;
    			}
    		}
    	}
    
    	/* 将角点的存储结构转换成矩阵形式 */
    
    	for (i=0;i<image_points_seq.cvseq->total;i++) {
    		image_points(0,i,0) = image_points_seq[i].x;
    		image_points(0,i,1) = image_points_seq[i].y;
    	}
    
    	/* 初始化每幅图像中的角点数量，这里我们假设每幅图像中都可以看到完整的定标板 */
    
    	for (i=0;i<sucesses;i++)
    		point_counts(0,i) = board_size.width*board_size.height;
    
    	
    	/* 开始定标 */
    
    	cvCalibrateCamera2(object_points.cvmat,
    					   image_points.cvmat,
                           point_counts.cvmat,
    					   image_size,
                           intrinsic_matrix.cvmat,
    					   distortion_coeffs.cvmat,
                           rotation_vectors.cvmat,
    					   translation_vectors.cvmat,
    					   0);
    
        cvSave("Intrinsics.txt",intrinsic_matrix.cvmat);
        cvSave("Distortion.txt",distortion_coeffs.cvmat);
        cvSave("rotation_vectors.txt",rotation_vectors.cvmat);
        cvSave("translation_vectors.txt",translation_vectors.cvmat);
    	
    	/************************************************************************
    	       对定标结果进行评价
    	*************************************************************************/
    
    	double total_err = 0.0; /* 所有图像的平均误差的总和 */
    	double err = 0.0; /* 每幅图像的平均误差 */
    	Matrix<double> image_points2(1,point_counts(0,0,0),2); /* 保存重新计算得到的投影点 */
    
    	fout<<endl<<"每幅图像的定标误差：\n";
    
    	for (i=0;i<sucesses;i++) {
    		/* 通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的投影点 */
    		cvProjectPoints2(object_points.get_cols(i*point_counts(0,0,0),(i+1)*point_counts(0,0,0)-1).cvmat,
    						rotation_vectors.get_col(i).cvmat,
    						translation_vectors.get_col(i).cvmat,
    						intrinsic_matrix.cvmat,
    						distortion_coeffs.cvmat,
    						image_points2.cvmat,
    						0,0,0,0);
    		/* 计算新的投影点和旧的投影点之间的误差*/
    		err = cvNorm(image_points.get_cols(i*point_counts(0,0,0),(i+1)*point_counts(0,0,0)-1).cvmat,
    					image_points2.cvmat,
    					CV_L1);
    		cvSave("image_points3.txt",image_points.get_cols(i*point_counts(0,0,0),(i+1)*point_counts(0,0,0)-1).cvmat);
    		cvSave("each_image_points2.txt",image_points2.cvmat);
    		total_err += err/=point_counts(0,0,0);
    		fout<<"\t第"<<i+1<<"幅图像的平均误差："<<err<<"像素"<<'\n';
    	}
    	fout<<"总体平均误差："<<total_err/sucesses<<"像素"<<'\n'<<'\n';
    
    	/************************************************************************
    	       保存定标结果
    	*************************************************************************/
    
    	Matrix<double> rotation_vector(3,1); /* 保存每幅图像的旋转向量 */
    	Matrix<double> rotation_matrix(3,3); /* 保存每幅图像的旋转矩阵 */
    	
    	fout<<"相机内参数矩阵：\n";
    	fout<<intrinsic_matrix<<'\n';
    	fout<<"畸变系数：\n";
    	fout<<distortion_coeffs<<'\n';
    
    //	fout1<<"相机内参数矩阵：\n";
    //	fout1<<intrinsic_matrix<<'\n';
    //	fout1<<"畸变系数：\n";
    	fout1<<distortion_coeffs<<'\n';
    	fout2<<intrinsic_matrix<<'\n';
    
    	for (i=0;i<sucesses;i++) 
    	{
    		fout<<"第"<<i+1<<"幅图像的旋转向量：\n";
    		fout<<rotation_vectors.get_col(i);
    
    		/* 对旋转向量进行存储格式转换 */
    
    		for (j=0;j<3;j++) 
    		{
    			rotation_vector(j,0,0) = rotation_vectors(0,i,j);
    		}
    
    		/* 将旋转向量转换为相对应的旋转矩阵 */
    
    		cvRodrigues2(rotation_vector.cvmat,rotation_matrix.cvmat);
    
    		fout<<"第"<<i+1<<"幅图像的旋转矩阵：\n";
    		fout<<rotation_matrix;
    
    		fout<<"第"<<i+1<<"幅图像的平移向量：\n";
    		fout<<translation_vectors.get_col(i)<<'\n';
    	}
    }

以上代码是将所保存的图片，计算出摄像机内外参数，并将结果保存在txt文件中，这主要方便后续将结果显示在编辑框中。还有一点，虽然将标定结果存入了txt文件中，但是若想在上述代码中直接实现将标定结果显示在编辑框中，是不可能的，你会发现编辑框中将出现乱码（烫烫烫烫烫烫烫烫烫烫烫），解决方法是另写一个button控件，究其原因是windows未将标定结果写入外存，只是存入缓冲区中，故你将在txt文件中看不到任何结果，但若关闭VC6.0，结果将出现在txt文本中。

接下来就是将标定结果显示在编辑框中。

void CImageShowDlg::OnReadIntrinsic() 
    {
    	// TODO: Add your control notification handler code here
    	CFileDialog fileDlg(TRUE);  
    
    	CString str;  
    	CFile f;  wo
    	f.Open("caliberation_result.txt",CFile::modeReadWrite);  
    	f.Read(str.GetBuffer(f.GetLength()),f.GetLength());  
    	f.Close();  
    	GetDlgItem(IDC_INTRINSIC )->SetWindowText( str);   
    }

以上就是我对相机标定的理解，详细代码可看我的代码http://download.csdn.net/detail/u013025764/7225051

[http_www.vision.caltech.edu_bouguetj_calib_doc]: http://www.vision.caltech.edu/bouguetj/calib_doc/
[SouthEast]: /images/20220824/14e6bb969ba14b3fad03eba935c3cb71.png
[Image 1]: