OpenCV源码解析：目标检测trainCascade算法剖析之LBP基础

╰半夏微凉° 2022-05-03 07:28 202阅读 0赞

本文重点讲解LBP特征及OpenCV中LBP特征的基本处理。

目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割。用级联分类器实现目标检测在AI人工智能识别中应用十分广泛。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70][]

### 正样本的选取原则 ###

正样本的尺寸不是必须一致的，从源码可以看到，这个是可以在输入图片文件的尺寸时设置大小从而实现在CreateSamples中进行裁剪的（参考cvCreateTrainingSamplesFromInfo中resize调整图片大小）。不过我建议你最好事先把尺寸统一处理好，除非你真的知道从图片的那个像素点开始裁剪。

数据来源尽可能做到多样化，比如样本为车，车的姿态场景应稍丰富些。同一正样本目标的图像太多会使局部特征过于明显，造成这个目标的训练过拟合，影响检测精度，不利于训练器泛化使用。

这里的输入文件名叫car.info，共计550行，可从这里下载的  
[https://github.com/TutorProgramacion/opencv-traincascade/tree/master/image\_dataset][https_github.com_TutorProgramacion_opencv-traincascade_tree_master_image_dataset]  
[这里也行，里面已经生成possample.vec文件：][https_github.com_TutorProgramacion_opencv-traincascade_tree_master_image_dataset]  
汽车正负样本下载：　[https://download.csdn.net/download/tanmx219/10747369  
检测样本下载：][https_download.csdn.net_download_tanmx219_10747369]　[https://download.csdn.net/download/tanmx219/10623808][https_download.csdn.net_download_tanmx219_10623808]

内容是这样的，其中0,0,100,40表示从(0,0)这个像素点开始裁剪，宽为100，高为40个像素，  
pos/pos-532.pgm 1 0 0 100 40  
pos/pos-166.pgm 1 0 0 100 40  
pos/pos-76.pgm 1 0 0 100 40  
pos/pos-193.pgm 1 0 0 100 40  
pos/pos-0.pgm 1 0 0 100 40

### 关于负样本的准备 ###

原则上负样本图片中不能包含正样本目标；每个负样本之间应尽量保证各不相同，即确保负样本的多样性；  
负样本的尺寸不是必须相同的，但负样本的尺寸不能小于正样本矢量集图像的宽和高；  
整体上来说，负样本的准备是很简单的。  
这里的负样本文件名称为neg.info。

### 使用openCV\_createSamples ###

选择好样本之后，就要生成OpenCV生vec向量文件，然后再进行训练以得到级联模型（xml），最后进行目标识别。  
这里我们先讲OpenCV生vec向量文件的过程，理一下源码。  
先说一下最后生成的那个vec文件，其文件结构是这样的

图片个数（4字节）  
图片尺寸（4字节,灰度图的字节数size=宽x高）  
0（4字节）  
0（1个字节的图片分隔符）  
Data(共计size个字节)  
0（1个字节的图片分隔符）  
Data(共计size个字节)  
0（1个字节的图片分隔符）  
Data(共计size个字节)  
…

可见，vec是一个十分简单的文件，生成过程同样很简单，如果自己编译，可以看到在OpenCV的工程目标下，有一个opencv\_createSampels的项目，编译后可以得到opencv\_createsamples.exe这个文件，我的目录结构是这样的

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 1][]

运行  
opencv\_createSamples -info ../dataCascade/cars.info -vec ../dataCascade/possamples.vec -num 550 -w 100 -h 40  
pause  
程序main里实质调用的函数是cvCreateTrainingSamplesFromInfo  
其中  
icvWriteVecHeader负责写入文件头,  
icvWriteVecSample负责写入文件分隔符

参考：[https://docs.opencv.org/3.3.0/dc/d88/tutorial\_traincascade.html][https_docs.opencv.org_3.3.0_dc_d88_tutorial_traincascade.html]

### 积分图 ###

也叫区域求和表，定义

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 2][]

在点 (*x*, *y*)处的面积和是该点左边和上边全部像素的和（包括该点本身在内）；即，每个像素点对应的积分值，是该点左上角所有像素值的和。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 3][]  
有了积分表之后，就可以快速地求得任意面积的大小，如图，

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 4][]

假设ABCD为4个点对应的积分，那么ABCD这个区域内的像素值的和就是  
Sum = D – B – C + A

在OpenCV3.4.1的源码中，有一个宏定义,

\#defineCALC\_SUM\_OFS\_(p0, p1, p2, p3, ptr) \\  
((ptr)\[p0\] - (ptr)\[p1\] - (ptr)\[p2\] + (ptr)\[p3\])

该宏完成一个简单的积分块计算，也就是I(p0) + I(p3) – I(p1) – I(p2), 其中I(p0)表示取p0这个点的积分值，你可以对照上面的图，把p0,p1,p2,p3分别等价于A、Ｂ、Ｃ、Ｄ这4个点。

### 什么时LBP? ###

LBP有很多种形式，最常用的如下面所示的九宫格，示意图中计算的，是最中间那个４所在的位置的LBP值，其规则是，当一个值比中间这个４大时，该位高为１，否则为０。

５比中间的４大，所以该位为１  
９比中间的４大，所以该位为１  
１比中间的４小，所以该位为0  
４比中间的４　，也为１  
６比中间的４大，所以该位为１  
７比中间的４大，所以该位为１  
２比中间的４小，所以该位为0  
３比中间的４小，所以该位为0

这样，所有周边８个数比较过后，根据**箭头的方向**走一圈，得到这样一个８位的值11010011。这个值，就是中间４那个位置对应的LBP值。

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 5][] ###

### 计算LBP特征的函数CvLBPEvaluator::Feature::calc ###

作用：计算LBP码表，  
该函数的功能和cascadeDetect.hpp中的LBPEvaluator::OptFeature::calc函数完全一致。  
功能：  
计算积分图的LBP特征（最简单的方块特征，8位，最大值255）  
源码请和下面的示意图对照看，如前所述，注意LBP的方向。

inline int LBPEvaluator::OptFeature::calc( const int* p ) const
    {
        int cval = CALC_SUM_OFS_( ofs[5], ofs[6], ofs[9], ofs[10], p );  // center block character value
    
        return (CALC_SUM_OFS_( ofs[0], ofs[1], ofs[4], ofs[5], p ) >= cval ? 128 : 0) |   // block b0
               (CALC_SUM_OFS_( ofs[1], ofs[2], ofs[5], ofs[6], p ) >= cval ? 64 : 0) |    // block b1
               (CALC_SUM_OFS_( ofs[2], ofs[3], ofs[6], ofs[7], p ) >= cval ? 32 : 0) |    // block b2
               (CALC_SUM_OFS_( ofs[6], ofs[7], ofs[10], ofs[11], p ) >= cval ? 16 : 0) |  // block b5
               (CALC_SUM_OFS_( ofs[10], ofs[11], ofs[14], ofs[15], p ) >= cval ? 8 : 0)|  // block b8
               (CALC_SUM_OFS_( ofs[9], ofs[10], ofs[13], ofs[14], p ) >= cval ? 4 : 0)|   // block b7
               (CALC_SUM_OFS_( ofs[8], ofs[9], ofs[12], ofs[13], p ) >= cval ? 2 : 0)|    // block b6
               (CALC_SUM_OFS_( ofs[4], ofs[5], ofs[8], ofs[9], p ) >= cval ? 1 : 0);      // block b3
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 6][]  
如上面的示意图，４表示最中间那个块，b0,b1,b2,b3 (|) b5, b6,b7,b8是其周围的８个块,  
如果b0的积分值比4大，就置第8位bit为1， 否则为0  
如果b1的积分值比4大，就置第7位bit为1， 否则为0  
如果b2的积分值比4大，就置第6位bit为1， 否则为0  
如果b5的积分值比4大，就置第5位bit为1， 否则为0  
如果b8的积分值比4大，就置第4位bit为1， 否则为0  
如果b7的积分值比4大，就置第3位bit为1， 否则为0  
如果b6的积分值比4大，就置第2位bit为1， 否则为0  
如果b3的积分值比4大，就置第1位bit为1， 否则为0  
例如，如果得到的各位全是1，写成二进制就是1111 1111b，如果各位全是0，写成二进制就是0000 0000b。这样，就得到了一个完整的LBP值。

另一个函数我也把源码贴出来，原理上没有区别，只不过输入的参数不同

inline uchar CvLBPEvaluator::Feature::calc(const cv::Mat &_sum, size_t y) const
    {
        const int* psum = _sum.ptr<int>((int)y);
        int cval = psum[p[5]] - psum[p[6]] - psum[p[9]] + psum[p[10]];
    
        return (uchar)((psum[p[0]] - psum[p[1]] - psum[p[4]] + psum[p[5]] >= cval ? 128 : 0) |   // 0
            (psum[p[1]] - psum[p[2]] - psum[p[5]] + psum[p[6]] >= cval ? 64 : 0) |    // 1
            (psum[p[2]] - psum[p[3]] - psum[p[6]] + psum[p[7]] >= cval ? 32 : 0) |    // 2
            (psum[p[6]] - psum[p[7]] - psum[p[10]] + psum[p[11]] >= cval ? 16 : 0) |  // 5
            (psum[p[10]] - psum[p[11]] - psum[p[14]] + psum[p[15]] >= cval ? 8 : 0) | // 8
            (psum[p[9]] - psum[p[10]] - psum[p[13]] + psum[p[14]] >= cval ? 4 : 0) |  // 7
            (psum[p[8]] - psum[p[9]] - psum[p[12]] + psum[p[13]] >= cval ? 2 : 0) |   // 6
            (psum[p[4]] - psum[p[5]] - psum[p[8]] + psum[p[9]] >= cval ? 1 : 0));     // 3
    }

### LBP特征的产生 ###

上面说了LBP的原理和计算，现在看一下OpenCV中LBP的产生

voidCvLBPEvaluator::generateFeatures()

作用：将图像划分成尽可能多的子方块(特征)，其中特征的数量保存在numFeatures中。

说明：一幅宽为width，高为height的图像，  
以(x,y)为起点，形成一个方块rect(x,y,x+3w,y+3h)，内含3x3=9个子方块（九宫格），(w,h)是子方块的宽和高，w，h逐渐递增，最后得到的最大方块为rect(x,y,winSize.width,winSize.height)，  
当x=0,y=0时就是整幅图像的区域；所以，最大子方块的大小是 w <= winSize.width / 3, h <= winSize.height / 3

// 该函数一般在CvFeatureEvaluator::init初始化时调用，
    // std::vector<Feature> features;定义在CvLBPEvaluator中。
    
    void CvLBPEvaluator::generateFeatures()
    {
        int offset = winSize.width + 1; // 行距
        for( int x = 0; x < winSize.width; x++ )
            for( int y = 0; y < winSize.height; y++ )
                for( int w = 1; w <= winSize.width / 3; w++ )
                    for( int h = 1; h <= winSize.height / 3; h++ )
                        if ( (x+3*w <= winSize.width) && (y+3*h <= winSize.height) )
                            features.push_back( Feature(offset, x, y, w, h ) ); 
        numFeatures = (int)features.size(); 
    }

其中的Feature构造函数

CvLBPEvaluator::Feature::Feature(...)

Feature描述的是构成的9个子方块，例如左上角第1个子方块，（x,y）为方块左上角坐标，\_blockWidth, \_blockHeight分别为方块的宽和高，单位是像素。像素点p\[0\]~p\[15\]共计16个点，描述了3x3=9个子方块。

源码是这样的，对照前面的示意图看很容易理解

#define CV_SUM_OFFSETS( p0, p1, p2, p3, rect, step )                      \
        /* (x, y) */                                                          \
        (p0) = (rect).x + (step) * (rect).y;                                  \
        /* (x + w, y) */                                                      \
        (p1) = (rect).x + (rect).width + (step) * (rect).y;                   \
        /* (x, y + h) */  // 原注释(x + 2, y)是错误的                          \
        (p2) = (rect).x + (step) * ((rect).y + (rect).height);                \
        /* (x + w, y + h) */                                                  \
        (p3) = (rect).x + (rect).width + (step) * ((rect).y + (rect).height);
    
    
    CvLBPEvaluator::Feature::Feature( int offset, int x, int y, int _blockWidth, int _blockHeight )
    {
        Rect tr = rect = cvRect(x, y, _blockWidth, _blockHeight);
        CV_SUM_OFFSETS( p[0], p[1], p[4], p[5], tr, offset ) // 定义4个角点的位置， offset = image_width + 1
        tr.x += 2*rect.width; 
        CV_SUM_OFFSETS( p[2], p[3], p[6], p[7], tr, offset )
        tr.y +=2*rect.height; 
        CV_SUM_OFFSETS( p[10], p[11], p[14], p[15], tr, offset )
        tr.x -= 2*rect.width; 
        CV_SUM_OFFSETS( p[8], p[9], p[12], p[13], tr, offset )
    }

### (更新中，未完待续) ###

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70]: /images/20220503/b34dfd1781d74c4ba0b95cb61c64a8ee.png
[https_github.com_TutorProgramacion_opencv-traincascade_tree_master_image_dataset]: https://github.com/TutorProgramacion/opencv-traincascade/tree/master/image_dataset
[https_download.csdn.net_download_tanmx219_10747369]: https://download.csdn.net/download/tanmx219/10747369
[https_download.csdn.net_download_tanmx219_10623808]: https://download.csdn.net/download/tanmx219/10623808
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 1]: /images/20220503/d3de9dd1495e475ea509eede821035f9.png
[https_docs.opencv.org_3.3.0_dc_d88_tutorial_traincascade.html]: https://docs.opencv.org/3.3.0/dc/d88/tutorial_traincascade.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 2]: /images/20220503/10b6c38085df48878d4e613a9d41dea7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 3]: /images/20220503/a84dda514be84a9daea19a708a06f67b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 4]: /images/20220503/fdd8e2f2d7484032bb0bbad66e73235c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 5]: /images/20220503/c26eeb204d2d48b8b0add24ebe6b83ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Rhbm14MjE5_size_27_color_FFFFFF_t_70 6]: /images/20220503/2b6e3e4194bb429ca8ce5a34c215a306.png