机器视觉-点特征检测

拼搏现实的明天。 2022-08-06 14:21 182阅读 0赞

特征检测和匹配是计算机视觉的一个基本问题，点特征检测和匹配在图像拼接和自动三维重建方面更是有着广泛的用途。

点特征的检测和匹配一般有两种方法：

1) 在图像中寻找那些使用局部搜索方法来精确跟踪的特征；

2) 在所有考察的图像中独立的检测特征点，然后再基于它们的局部表现进行匹配；

1) 适用于以相近的视角或者快速连续拍摄的图像序列，2)适用于存在大量的运动或者变化的图像序列。

# 角点 #

特征检测与匹配是Computer Vision 应用总重要的一部分，这需要寻找图像之间的特征建立对应关系。点，也就是图像中的特殊位置，是很常用的一类特征，点的局部特征也可以叫做“关键特征点”(**keypoint feature**)，或“兴趣点”(**interest point**)，或“角点”(**conrner**)。

关于角点的具体描述可以有几种：

*  一阶导数(即灰度的梯度)的局部最大所对应的像素点；
 *  两条及两条以上边缘的交点；
 *  图像中梯度值和梯度方向的变化速率都很高的点；
 *  角点处的一阶导数最大，二阶导数为零，指示物体边缘变化不连续的方向。

# Harris角点检测 #

当一个窗口在图像上移动，在平滑区域如图(a)，窗口在各个方向上没有变化。在边缘上如图(b)，窗口在边缘的方向上没有变化。在角点处如图(c)，窗口在各个方向上具有变化。Harris角点检测正是利用了这个直观的物理现象，通过窗口在各个方向上的变化程度，决定是否为角点。

![1343708912_3784.png][]

将图像窗口平移\[u,v\]产生灰度变化E(u,v)

![1343708998_9792.png][]

由：![1343709165_2641.png][]， 得到：

![1343709181_9241.png][]

对于局部微小的移动量 \[u,v\]，近似表达为：

![1343709271_9076.png][]

其中M是 2\*2 矩阵，可由图像的导数求得：

![1343709356_8760.png][]

E(u,v)的椭圆形式如下图：

![1343709660_5258.png][]

定义角点响应函数 **R** 为：

![1343709802_8304.png][]

**Harris角点检测算法就是对角点响应函数R进行阈值处理：R > threshold，即提取R的局部极大值。**

二、opencv代码实现

harris类

**\[cpp\]**  [view plain][] [copy][view plain]

1.  \#ifndef HARRIS\_H  
2.  \#define HARRIS\_H  
3.  \#include "opencv2/opencv.hpp"  
4.    
5.  **class** harris  
6.  \{  
7.  **private**:  
8.      cv::Mat  cornerStrength;  //opencv harris函数检测结果，也就是每个像素的角点响应函数值  
9.      cv::Mat cornerTh; //cornerStrength阈值化的结果  
10.     cv::Mat localMax; //局部最大值结果  
11.     **int** neighbourhood; //邻域窗口大小  
12.     **int** aperture;//sobel边缘检测窗口大小（sobel获取各像素点x，y方向的灰度导数）  
13.     **double** k;  
14.     **double** maxStrength;//角点响应函数最大值  
15.     **double** threshold;//阈值除去响应小的值  
16.     **int** nonMaxSize;//这里采用默认的3，就是最大值抑制的邻域窗口大小  
17.     cv::Mat kernel;//最大值抑制的核，这里也就是膨胀用到的核  
18. **public**:  
19.     harris():neighbourhood(3),aperture(3),k(0.01),maxStrength(0.0),threshold(0.01),nonMaxSize(3)\{  
20.   
21.     \};  
22.   
23.     **void** setLocalMaxWindowsize(**int** nonMaxSize)\{  
24.         **this**\->nonMaxSize = nonMaxSize;  
25.     \};  
26.   
27.     //计算角点响应函数以及非最大值抑制  
28.     **void** detect(**const** cv::Mat &image)\{  
29.             //opencv自带的角点响应函数计算函数  
30.             cv::cornerHarris (image,cornerStrength,neighbourhood,aperture,k);  
31.             **double** minStrength;  
32.             //计算最大最小响应值  
33.             cv::minMaxLoc (cornerStrength,&minStrength,&maxStrength);  
34.   
35.             cv::Mat dilated;  
36.             //默认3\*3核膨胀，膨胀之后，除了局部最大值点和原来相同，其它非局部最大值点被  
37.             //3\*3邻域内的最大值点取代  
38.             cv::dilate (cornerStrength,dilated,cv::Mat());  
39.             //与原图相比，只剩下和原图值相同的点，这些点都是局部最大值点，保存到localMax  
40.             cv::compare(cornerStrength,dilated,localMax,cv::CMP\_EQ);  
41.     \}  
42.   
43.     //获取角点图  
44.     cv::Mat getCornerMap(**double** qualityLevel) \{  
45.             cv::Mat cornerMap;  
46.             // 根据角点响应最大值计算阈值  
47.             threshold= qualityLevel\*maxStrength;  
48.             cv::threshold(cornerStrength,cornerTh,  
49.             threshold,255,cv::THRESH\_BINARY);  
50.             // 转为8-bit图  
51.             cornerTh.convertTo(cornerMap,CV\_8U);  
52.             // 和局部最大值图与，剩下角点局部最大值图，即：完成非最大值抑制  
53.             cv::bitwise\_and(cornerMap,localMax,cornerMap);  
54.             **return** cornerMap;  
55.     \}  
56.   
57.     **void** getCorners(std::vector<cv::Point> &points,  
58.             **double** qualityLevel) \{  
59.             //获取角点图  
60.             cv::Mat cornerMap= getCornerMap(qualityLevel);  
61.             // 获取角点  
62.             getCorners(points, cornerMap);  
63.     \}  
64.   
65.     // 遍历全图，获得角点  
66.     **void** getCorners(std::vector<cv::Point> &points,  
67.     **const** cv::Mat& cornerMap) \{  
68.   
69.             **for**( **int** y = 0; y < cornerMap.rows; y++ ) \{  
70.                     **const** uchar\* rowPtr = cornerMap.ptr<uchar>(y);  
71.                     **for**( **int** x = 0; x < cornerMap.cols; x++ ) \{  
72.                     // 非零点就是角点  
73.                           **if** (rowPtr\[x\]) \{  
74.                                 points.push\_back(cv::Point(x,y));  
75.                           \}  
76.                      \}  
77.                 \}  
78.           \}  
79.   
80.     //用圈圈标记角点  
81.     **void** drawOnImage(cv::Mat &image,  
82.     **const** std::vector<cv::Point> &points,  
83.             cv::Scalar color= cv::Scalar(255,255,255),  
84.             **int** radius=3, **int** thickness=2) \{  
85.                     std::vector<cv::Point>::const\_iterator it=points.begin();  
86.                     **while** (it!=points.end()) \{  
87.                     // 角点处画圈  
88.                     cv::circle(image,\*it,radius,color,thickness);  
89.                     ++it;  
90.             \}  
91.     \}  
92.   
93. \};  
94.   
95. \#endif // HARRIS\_H

相关测试结果：

![0_1332608137l08l.gif][]

三、Shi-Tomasi算法原理

从经典的Harris角点检测方法不难看出，该算法的稳定性和k有关，而k是个经验值，不好把握，浮动也有可能较大。鉴于此，改进的Harris方法（）直接计算出两个特征值，通过比较两个特征值直接分类，这样就不用计算Harris响应函数了。

另一方面，我们不再用非极大值抑制了，而选取容忍距离：容忍距离内只有一个特征点。  
    该算法首先选取一个具有最大   最小特征值的点（即：max（min（e1，e2）），e1，e2是harris矩阵的特征值）作为角点，然后依次按照最大最小特征值顺序寻找余下的角点，当然和前一角点距离在容忍距离内的新角点呗忽略。

opencv测试该算法代码如下：

**\[cpp\]**  [view plain][] [copy][view plain]

1.      cv::Mat  image, image1 = cv::imread ("test.jpg");  
2.      //灰度变换  
3.      cv::cvtColor (image1,image,CV\_BGR2GRAY);  
4.      // 改进的harris角点检测方法  
5.      std::vector<cv::Point> corners;  
6.      cv::goodFeaturesToTrack(image,corners,  
7.      200,  
8.      //角点最大数目  
9.      0.01,  
10.     // 质量等级，这里是0.01\*max（min（e1，e2）），e1，e2是harris矩阵的特征值  
11.     10);  
12.     // 两个角点之间的距离容忍度  
13.     harris().drawOnImage(image,corners);//标记角点

测试结果如下：  
![1332670232_9654.png][]

四、FAST角点检测

算法原理比较简单，但实时性很强。

该算法的角点定义为：若某像素点圆形邻域圆周上有3/4的点和该像素点不同（编程时不超过某阈值th），则认为该点就是候选角点。opencv更极端，选用半径为3的圆周上（上下左右）四个点，若超过三个点和该像素点不同，则该点为候选角点。

和Harris算法类似，该算法需要非极大值抑制。

opencv代码：

**\[cpp\]**  [view plain][] [copy][view plain]

1.  cv::Mat  image, image1 = cv::imread ("test.jpg");  
2.  cv::cvtColor (image1,image,CV\_BGR2GRAY);  
3.  //快速角点检测  
4.  std::vector<cv::KeyPoint> keypoints;  
5.  cv::FastFeatureDetector fast(40,**true**);  
6.  fast .detect (image,keypoints);  
7.  cv::drawKeypoints (image,keypoints,image,cv::Scalar::all(255),cv::DrawMatchesFlags::DRAW\_OVER\_OUTIMG);

测试结果如下：

![1332671042_4824.png][]

五、参考文献

【1】The classical article describing the Harris operator: C. Harris and M.J. Stephens, A combined  corner and edge detector, by Alvey Vision Conference, pp. 147–152, 1988.

【2】The article by J. Shi and C. Tomasi, Good features to track, Int. Conference on Computer Vision  and Pattern Recognition, pp. 593-600, 1994 which introduced these features.

【3】The article by K. Mikolajczyk and C. Schmid, Scale and Affine invariant interest point  detectors, International Journal of Computer Vision, vol 60, no 1, pp. 63-86, 2004, which proposes a multi-scale and affine-invariant Harris operator.

【4】The article by E. Rosten and T. Drummond, Machine learning for high-speed corner detection, in In European Conference on Computer Vision, pp. 430-443, 2006 that describes the FAST feature algorithm in detail

链接地址：http://blog.csdn.net/crzy\_sparrow/article/details/7391511

[1343708912_3784.png]: https://img-my.csdn.net/uploads/201207/31/1343708912_3784.png
[1343708998_9792.png]: https://img-my.csdn.net/uploads/201207/31/1343708998_9792.png
[1343709165_2641.png]: https://img-my.csdn.net/uploads/201207/31/1343709165_2641.png
[1343709181_9241.png]: https://img-my.csdn.net/uploads/201207/31/1343709181_9241.png
[1343709271_9076.png]: https://img-my.csdn.net/uploads/201207/31/1343709271_9076.png
[1343709356_8760.png]: https://img-my.csdn.net/uploads/201207/31/1343709356_8760.png
[1343709660_5258.png]: https://img-my.csdn.net/uploads/201207/31/1343709660_5258.png
[1343709802_8304.png]: https://img-my.csdn.net/uploads/201207/31/1343709802_8304.png
[view plain]: http://blog.csdn.net/crzy_sparrow/article/details/7391511#
[0_1332608137l08l.gif]: /images/20220806/98326c435a3e496da88b46b5b6b1ee1a.png
[1332670232_9654.png]: https://img-my.csdn.net/uploads/201203/25/1332670232_9654.png
[1332671042_4824.png]: https://img-my.csdn.net/uploads/201203/25/1332671042_4824.png