人脸检测--LBPH-局部二进制编码直方图

比眉伴天荒 2022-09-30 11:46 151阅读 0赞

近期做行人检测和人脸识别，用到opencv中的人脸识别的方法，对LBPH进行总结一下

**先来点前言：**

特征脸方法描述了一个全面的方法来识别人脸：面部图像是一个点，这个点是从高维图像空间找到它在低维空间的表示，这样分类变得很简单。低维子空间低维是使用主元分析(Principal Component Analysis,PCA)找到的，它可以找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，但是他没有把标签问题考虑进去。想象一个情况，如果变化是基于外部来源，比如光照。轴的最大方差不一定包含任何有鉴别性的信息，因此此时的分类是不可能的。因此，一个使用线性鉴别(Linear Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题。其中一个基本的想法就是， 使类内方差最小的同时，使类外方差最大。  
  
近年来，各种局部特征提取方法出现。为了避免输入的图像的高维数据，仅仅使用的局部特征描述图像的方法被提出，提取的特征(很有希望的)对于局部遮挡、光照变化、小样本等情况更强健。有关局部特征提取的方法有盖伯小波(Gabor Waelets)，离散傅立叶变换(Discrete Cosinus Transform,DCT)，局部二值模式(Local Binary Patterns,LBP)。使用什么方法来提取时域空间的局部特征依旧是一个开放性的研究问题，因为空间信息是潜在有用的信息。

**然后来正题：**

LBPH(Local Binary PatternsHistograms)局部二进制编码直方图，建立在LBPH基础之上的人脸识别法基本思想如下：首先以每个像素为中心，判断与周围像素灰度值大小关系，对其进行二进制编码，从而获得整幅图像的LBP编码图像；再将LBP图像分为 ![Center][]个区域，获取每个区域的LBP编码直方图，继而得到整幅图像的LBP编码直方图，通过比较不同人脸图像LBP编码直方图达到人脸识别的目的,其优点是不会受到光照、缩放、旋转和平移的影响。

**OpenCV自带的LBPH人脸识别算法原理如下**：  
1. 加载数据  
用vector<Mat>imgs和vector<int> labels分别存储各图像数据和图像对应的标签；  
注：如果图像对应标签相同证明是同一个人；  
2. 训练模型  
2.1 初始化参数  
（1） 初始化采样半径（radius=1），邻域大小（neighbors=8），宽度方向和高度方向格子数(gridx=8, gridy=8,),直方图距离阈值(threshold = DBL\_MAX)。  
（2） 利用 labels初始化模型标签数组 \_labels。  
2.2 LBP编码  
计算各图像LBP编码图像LBPi ，大小为 ![Center 1][]，各像素值计算方法如下：

（1） 依次计算所有像素坐标第n邻域对应像素偏移坐标![Center 2][]

![Center 3][]  
  
（2） 双线性差值计算所有像素坐标（x,y）第n邻域的灰度值 ![Center 4][] 以及编码值![Center 5][]：

![Center 6][]  
（3） 计算所有像素的LBP编码值

![Center 7][]  
  
2.3 计算直方图  
各LBPi图像对应直方图矩阵HISTi宽度为![Center 8][]，高度为![Center 9][]

（1） 计算每个格子的宽度和高度：  
![Center 10][]  
（2） 按照行序统计每个格子内直方图各值的高度，并依次将结果存储在HISTi的每一行；并对直方图高度归一化，即所有直方图高度除以w\_grad\*h\_grad。以行为主序将HISTi转换为为1行列的向量矩阵。  
（3） 将所有人脸训练图像直方图矩阵HISTi插入到成员变量\_histograms，其中\_histograms的行数为![Center 11][]，列数为N。

3. 更新模型  
首先设置更新模型图像数据和图像对应标签数据；更新模型算法和训练模型算法一致，唯一的区别是在训练模型之前不需要将\_labels和\_histograms清零。  
4. 预测  
按照3中方法计算待识别人脸图片直方图矩阵HISTq，计算HISTq和训练模型中各图像\_histogramsi直方图之间的距离，记录距离最dis\_min 的直方图图像对应标签label\_min，如果dis\_min<threshold，则该人脸图片对应标签为label\_min，否则返回-1。计算两直方图之间距离方法（opencv函数compareHist）如下：  
![Center 12][]  
其中，分别为训练模型第i个直方图值为j的直方图高度和待匹配图像值为j的直方图高度；len为直方图最大值。

**关于LBPH**

**1 背景及理论基础**  
  
人脸识别是指将一个需要识别的人脸和人脸库中的某个人脸对应起来（类似于指纹识别），目的是完成识别功能，该术语需要和人脸检测进行区分，人脸检测是在一张图片中把人脸定位出来，完成的是搜寻的功能。从OpenCV2.4开始，加入了新的类FaceRecognizer，该类用于人脸识别，使用它可以方便地进行相关识别实验。  
  
原始的LBP算子定义为在3\*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于或等于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3\*3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理特征。

![Center 13][]  
  
原始的LBP提出后，研究人员不断对其提出了各种改进和优化。

lpb的正式定义可以这样描述：

![3AZvay.png_web][]  
  
**2 圆形LBP算子**  
  
基本的 LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，Ojala等对LBP算子进行了改进，将3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的LBP算子允许在半径为R的圆形邻域内有任意多个像素点，从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子，OpenCV中正是使用圆形LBP算子，下图示意了圆形LBP算子：  
  
  
![160713214329012.png][]  
**3 旋转不变模式**  
  
从LBP的定义可以看出，LBP算子是灰度不变的，但却不是旋转不变的，图像的旋转就会得到不同的LBP值。Maenpaa等人又将LBP算子进行了扩展，提出了具有旋转不变性的LBP算子，即不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值。下图给出了求取旋转不变LBP的过程示意图，图中算子下方的数字表示该算子对应的LBP值，图中所示的8种LBP模式，经过旋转不变的处理，最终得到的具有旋转不变性的LBP值为15。也就是说，图中的8种LBP模式对应的旋转不变的LBP码值都是00001111。  
![160713214329013.png][]  
  
**4 等价模式**  
  
一个LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生P2种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。例如：5×5邻域内20个采样点，有220＝1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。为了解决二进制模式过多的问题，提高统计性，Ojala提出了采用一种“等价模式”（Uniform Pattern）来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将“等价模式”定义为：当某个局部二进制模式所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该局部二进制模式所对应的二进制就成为一个等价模式类。如00000000（0次跳变），00000111（含一次从0到1的跳变和一次1到0的跳变），10001111（先由1跳到0，再由0跳到1，共两次跳变）都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111（共四次跳变）。  
  
通过这样的改进，二进制模式的种类大大减少，模式数量由原来的2P种减少为P(P-1)+2+1种，其中P表示邻域集内的采样点数，等价模式类包含P(P-1)+2种模式，混合模式类只有1种模式。对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为59种，这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。

**5 LBP计算结果**

显而易见的是，上述提取的LBP算子在每个像素点都可以得到一个LBP“编码”，那么，对一幅图像（记录的是每个像素点的灰度值）提取其原始的LBP算子之后，得到的原始LBP特征依然是“一幅图片”（记录的是每个像素点的LBP值）。  
  
![Center 14][]  
  
LBP的应用中，如纹理分类、人脸分析等，一般都不将LBP图谱作为特征向量用于分类识别，而是采用LBP特征谱的统计直方图作为特征向量用于分类识别。  
  
因为，从上面的分析我们可以看出，这个“特征”跟位置信息是紧密相关的。直接对两幅图片提取这种“特征”，并进行判别分析的话，会因为“位置没有 对准”而产生很大的误差。后来，研究人员发现，可以将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取LBP特征，然后，在每个子区域内建 立LBP特征的统计直方图。如此一来，每个子区域，就可以用一个统计直方图来进行描述；整个图片就由若干个统计直方图组成；  
  
例如：一幅100\*100像素大小的图片，划分为10\*10=100个子区域（可以通过多种方式来划分区域），每个子区域的大小为10\*10像 素；在每个子区域内的每个像素点，提取其LBP特征，然后，建立统计直方图；这样，这幅图片就有10\*10个子区域，也就有了10\*10个统计直方图，利 用这10\*10个统计直方图，就可以描述这幅图片了。之后，我们利用各种相似性度量函数，就可以判断两幅图像之间的相似性了；

[Center]: /images/20220706/d51a1ffc5a224ed3994be7ff33f79752.png
[Center 1]: /images/20220706/c167c7ed576f4825831bb493a837b601.png
[Center 2]: /images/20220706/a37b6f855eab456197f36ee1d01a62a0.png
[Center 3]: /images/20220706/30277ea7a9254c259a782cc7ca9dc901.png
[Center 4]: https://img-blog.csdn.net/20150210155454237?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2luYXRfMjU4ODUwNjM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 5]: /images/20220706/cadad30e64874cfb8da2cbbeb18e0d85.png
[Center 6]: /images/20220706/8121fc1d73e64d779644793d1eaf6996.png
[Center 7]: /images/20220706/bd68f98d12f44b43a07cea0c7afaf838.png
[Center 8]: https://img-blog.csdn.net/20150210155844231?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc2luYXRfMjU4ODUwNjM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 9]: /images/20220706/3ba325aab8264f7490c65d4da782e61b.png
[Center 10]: /images/20220706/9d16d3b78167490c908d7d44943dcd02.png
[Center 11]: /images/20220706/39b26218a550475fa7a84adb70024d81.png
[Center 12]: /images/20220706/d5cdf594990440dc981f86a86ffe927f.png
[Center 13]: /images/20220706/b4a414cf1483454da21c238b9bb0375b.png
[3AZvay.png_web]: http://img2.tuicool.com/3AZvay.png!web
[160713214329012.png]: /images/20220706/072acb76685a43f4b6f13c5fd1867f37.png
[160713214329013.png]: /images/20220706/43e5e6fb5580421d9bdce6c2c0ab2c06.png
[Center 14]: /images/20220706/14ed796bf21e48f6abec014308ba3534.png