opencv：光流估计 L-K

骑猪看日落 2023-10-12 08:07 45阅读 0赞

cv::goodFeaturesToTrack()，它不仅支持Harris角点检测，也支持Shi Tomasi算法的角点检测

void goodFeaturesToTrack(
    		// 输入图像（CV_8UC1 CV_32FC1)
    		InputArray image, 
    		/*
    		检测到的所有角点，类型为vector或数组，由实际给定的参数类型而定。
    		如果是vector，那么它应该是一个包含cv::Point2f的vector对象；
    		如果类型是cv::Mat，那么它的每一行对应一个角点，点的x、y位置分别是两列
    		*/
    		OutputArray corner,
    		/*
    		规定的特征点最大数目
    		比如一副图像你可以找到很多特征点，但是只是取前maxCorners个具有最大特征的那些点作为最后的特征点。
    		opencv自有一个机制，随便一个方法，比如计算一下这个点与周围一定领域的点的灰度相差求和，认为这个和越大的那些点是不是越属于特征点。
    		*/
    		int maxCorners,
    		// 质量水平系数（小于1.0的正数，一般在0.01-0.1之间）
    		double qualityLevel, 
    		// 用于区分相邻两个角点的最小距离（小于这个距离的点将进行合并）
    		double minDistance, 
    		// 如果指定，它的维度必须和输入图像一致，且在mask=0的点忽略
    		InputArray mask = noArray(), 
    		/*
    		表示在计算角点时参与运算的区域大小，常用值为3，
    		但是如果图像的分辨率较高则可以考虑使用较大一点的值。
    		*/
    		int blockSIze = 3,
    		// false='Shi Tomasi metric'
    		bool useHarrisDetector = false, 
    		// Harris角点检测时用，最好使用默认值0.04
    		double k = 0.04 
    	)

calcOpticalFlowPyrLK函数

C++: void calcOpticalFlowPyrLK(InputArray prevImg, InputArray nextImg, InputArray prevPts, InputOutputArray nextPts, OutputArray status, OutputArray err, Size winSize=Size(15,15), int maxLevel=3, TermCriteria criteria=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, 0.01), double derivLambda=0.5, int flags=0 )

参数：

prevImg：就是你需要输入计算光流的前一帧图像
    
    nextImg就是下一帧图像（可以看到一次光流就是在两针图像之间找不同）。
    
    prevPts是前一帧图像中的特征点，这个特征点必须自己去找，所以在使用calcOpticalFlowPyrLK函数的时候，前面需要有一个找特征点的操作，那么一般就是找图像的角点
    
    nextPts参数就是计算特征点在第二幅图像中的新的位置，然后输出。特征点的新位置可能变化了，也可能没有变化，那么这种状态就存放在后一个参数status中。err就是新旧两个特征点位置的误差了，也是一个输出矩阵。
    
    其他参数默认吧。

具体实现

#include <iostream>
    #include <opencv2/opencv.hpp>
    #include <opencv2/xfeatures2d.hpp>
    
    using namespace std;
    using namespace cv;
    
    void main()
    {
    	const char* fn = "D:\\vs-projects\\moving\\vtest.avi";
    	VideoCapture cap;
    	//lastgray，gray对应上一帧和本帧灰度图
    	Mat source, result, gray, lastgray;
    	//对应上一帧和本帧的特征点，上一帧是给定的，本帧是预测结果
    	vector<Point2f> points[2], temp;
    	//每一特征点检测状态
    	vector<uchar> status;
    	//每一特征点计算误差
    	vector<float> err;
    
    	//打开视频
    	cap.open(fn);
    	if (!cap.isOpened())
    	{
    		cout << "无法打开视频文件：" << fn << endl;
    		return;
    	}
    
    	for (;;)
    	{
    		cap >> source;
    		if (source.empty())
    			break;
    
    		cvtColor(source, gray, COLOR_BGR2GRAY);
    		//点数太少，重新检测特征点
    		if (points[0].size() < 10)
    		{
    			// 角点检测，默认使用Shi-Tomasi角点检测
    			goodFeaturesToTrack(gray, points[0], 200, 0.01, 20);
    		}
    
    		if (lastgray.empty())
    		{
    			gray.copyTo(lastgray);
    		}
    
    		//计算光流
    		calcOpticalFlowPyrLK(lastgray, gray, points[0], points[1], status, err);
    
    		//删除误判点
    		int counter = 0;
    		for (int i = 0; i < points[1].size(); i++)
    		{
    			// 距离
    			double dist = norm(points[1][i] - points[0][i]);
    			if (status[i] && dist >= 2.0 && dist <= 20.0)
    			{
    				points[0][counter] = points[0][i];
    				points[1][counter++] = points[1][i];
    			}
    		}
    
    		points[0].resize(counter);
    		points[1].resize(counter);
    
    		//显示特征点和运动轨迹
    		source.copyTo(result);
    		for (int i = 0; i < points[1].size(); i++)
    		{
    			line(result, points[0][i], points[1][i], Scalar(0, 0, 0xff));
    			circle(result, points[1][i], 3, Scalar(0, 0xff, 0));
    		}
    
    		// 调换
    		swap(points[0], points[1]);
    		swap(lastgray, gray);
    
    		imshow("源图像", source);
    		imshow("检测结果", result);
    		//以下检测是否终止（按下ESC终止，对应ASCII 27）
    		char key = waitKey(100);
    		if (key == 27)
    		{
    			break;
    		}
    	}
    }

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9oYW5xcQ_size_16_color_FFFFFF_t_70]

参考资料：  
[【OpenCV3】角点检测——cv::goodFeaturesToTrack()与cv::cornerSubPix()详解][OpenCV3_cv_goodFeaturesToTrack_cv_cornerSubPix]  
[目标检测光流法（二）：opencv下的光流L-K算法][opencv_L-K]  
[Opencv学习笔记（九）光流法][Opencv]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9oYW5xcQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190922131233609.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW9oYW5xcQ==,size_16,color_FFFFFF,t_70
[OpenCV3_cv_goodFeaturesToTrack_cv_cornerSubPix]: https://blog.csdn.net/guduruyu/article/details/69537083
[opencv_L-K]: https://blog.csdn.net/on2way/article/details/48954159
[Opencv]: https://blog.csdn.net/crzy_sparrow/article/details/7407604