Face Recognition using Gabor Filters

落日映苍穹つ 2022-12-01 05:29 178阅读 0赞

### 摘要 ###

基于Gabor的人脸表示在人脸识别中取得了巨大的成功。本文提出了一种利用Gabor特征训练的神经网络进行人脸识别的新算法。在不同尺度上对一系列图像进行有效的卷积。本文的两个新贡献是：RMS对比度的缩放和变形作为图像识别完善的一个进步。基于多层感知器（MLP）结构和反向推进算法，结合Gabor-jet的卷积滤波响应，实现了人脸识别。在不同光照条件下采集的变形人脸图像数据库上，验证了该算法的有效性。

### 1 引言 ###

Gabor特征在计算机视觉、图像处理、模式识别等领域得到了广泛的关注。使用Gabor过滤器的主要动机是生物相关性，即哺乳动物初级视觉皮层神经元的感受野轮廓是定向的，并具有特征的空间频率。Gabor滤波器可以利用显著的视觉特性，如空间定位、方向选择性和空间频率特性\[1\]-\[2\]。考虑到这些压倒性的能力和它在人脸识别中的巨大成功，本文利用Gabor特征来表示人脸图像，并与神经网络协同产生识别任务。  
  文献中已经发表了大量基于Gabor的图像识别的研究工作。Lades等人开发了一个基于Gabor小波的人脸识别系统，该系统使用动态链路架构(DLA)框架，通过在人脸图像\[3\]上的矩形网格的每个节点提取Gabor jets来识别人脸。Wiskott等人随后对DLA进行了扩展，开发了一种基于Gabor小波的弹性束图匹配(EBGM)方法，用于\[4\]面部图像的标记和识别。在EBGM算法中，人脸被表示为一个图，图中的每个节点都包含一组系数，称为jets。然而，DLA和EBGM都需要大量的计算成本。Liu和Wechsler开发了一种基于Gabor特征的分类协议，使用Fisher线性判别模型进行\[5\]降维。Shan等人利用AdaBoost策略开发了一种用于\[6\]人脸识别的增强fisher模型。Zhang等人提出了一种利用Gabor相位模式\[7\]的直方图进行人脸识别的方法。  
  本文提出了一种基于Gabor滤波系数的神经网络人脸识别方法。由于均方根对比对图像表示是合理的，尝试集中在均方根缩放上。rms对比度的缩放可以提高识别性能。尽管具有鲁棒性，但是基于Gabor滤波器的特征选择方法通常由于高维Gabor特征而计算昂贵。为了降低特征维数，本文采用15 个Gabor滤波器;3个尺度，5个方向。  
  本文的其余部分组织如下。第二节描述图像预处理。第三节描述了Gabor滤波器的设计。第四节介绍了用反向传播算法构建神经网络的方法。第五部分给出了实验方法和结果，最后在第六部分对实验结果进行了讨论，得出了结论并提出了未来的工作方向。

### 2 图像预处理 ###

首先将原始图像转换为灰度图像。在每张人脸图像上对准两只眼睛的中心，对所有图像进行适当的旋转、平移、缩放和裁剪，得到100×100个像素。然后对图像进行一些预处理操作。图像预处理阶段包括对比度和光照均衡、直方图均衡和变形。

##### A.对比度和光照均衡: #####

对比度是衡量人类视觉系统灵敏度的一个指标。虽然对比度在计算机显示器的视觉处理中起着重要的作用，但在过去几乎所有的文献中都研究了不同光照条件下、不同光照和对比度下的人脸识别过程。为了达到有效的和心理上有意义的表示，所有的图像处理相同的光照和均方根对比度。对应亮度标准差的均方根对比度量用\[8\]表示:  
![在这里插入图片描述][20200826150919783.png_pic_center]  
  其中 x i x\_i xi是归一化后的灰度值，满足 0 < x i < 1 0<x\_i<1 0<xi<1，x是平均的归一化后的灰度值。根据这个定义，如果他们的均方根对比度是相等的，不同人脸的图像具有相同的对比度。均方根对比度不依赖于图像的空间频率对比度或图像中对比度的空间分布。所有的图像都保持在相同的光照和相同的条件下RMS对比用下式:  
![在这里插入图片描述][20200826151617363.png_pic_center]  
  其中为对比度，为从原始图像f到新图像g需要增加或减少的亮度。和的值是根据经验选取的。照明和均方根对比度均衡过程如图1所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]  
图1.照明和RMS对比度均衡。捕获图像的照明角度-38.4º,-21.6º,-0.2º,20.6º,分别37º。

##### B.直方图均衡 #####

由于光照条件的限制，人脸图像的对比度可能很差。因此使用直方图均衡化来补偿光照条件和改善图像\[9\]的对比度。

##### C.变形图像: #####

变形是一种特殊的效果，在电影和动画，改变(或变种)一个图像到另一个无缝过渡。它通常被用来描述一个人通过一些魔法或技术手段变成另一个人，或者作为一个幻想或超现实序列的一部分。我们使用基于像素的变形\[10\]技术来提高人脸图像识别的完善性。变形在源图像和目标图像之间提供了一些中间阶段，如果两幅图像是同一个人，我们可以将其视为中间姿势。  
  当一张脸在运动时;从左到右，从右到左，或者其他的，在那个时刻捕捉到的图像可能会有运动模糊。为了识别不同姿势的图像，一个特定的脸在-20º,-10º, 0º,10°,20º五个不同的旋转图像和生成12中间时刻变化的四个顺序对每一对3图片。所以我们对于一个特定的面部图像得到了17个不同的旋转面部图像。

### 3 Gabor滤波器设计 ###

Gabor滤波器作为局部空间频率分布的带通滤波器，在空间和频域都实现了最佳的分辨率。二维Gabor滤波器 Ψ f , θ ( x , y ) Ψ\_\{f,θ\}(x,y) Ψf,θ(x,y)可表示为经高斯核函数调制的复正弦信号，如下\[11\]:  
![在这里插入图片描述][20200826153754509.png_pic_center]  
   σ x , σ y σ\_x,σ\_y σx,σy分别为高斯包络线在x、y方向上的标准差，f为正弦波平面波的中心频率， θ n θ\_n θn为方向。将x-y平面旋转一个角 θ n θ\_n θn会在方位 θ n θ\_n θn处产生一个Gabor滤波器。角 θ n θ\_n θn的角度定义为:  
![在这里插入图片描述][20200826154233977.png_pic_center]  
  对于n= 1,2, p和p∈n，其中p表示方向数。  
  Gabor滤波器的设计是通过选择适当的滤波器参数，使滤波器具有特定的空间频率和方位波段;滤波器的扩展σx，σy，径向频率f，和滤波器的方向θn。在人脸识别Gabor滤波器的设计中，滤波器参数的选择是一个重要的问题。本研究由五个方向参数 θ ∈ \{ 0 , π / 5 , 2 π / 5 , 3 π / 5 , 4 π / 5 \} θ∈\\\{0,π/5,2π/5,3π/5,4π/5\\\} θ∈\{ 0,π/5,2π/5,3π/5,4π/5\}和三个空间频率f∈\{0.6,1.0,1.4\}组成的15个Gabor信道  
  人脸图像的Gabor表示是通过Gabor滤波器\[12\]对人脸图像进行卷积来计算的。设f(x, y)为灰度人脸图像在坐标(x, y)处的强度，其与Gabor滤波器 Ψ f , θ ( x , y ) Ψ\_\{f,θ\}(x,y) Ψf,θ(x,y)的卷积被定义为:  
![在这里插入图片描述][20200826201605687.png_pic_center]  
  图2给出了人脸图像与gabor滤波器的卷积结果。每个Gabor核滤波器表示的响应都是一个具有实部 ℜ g f , θ ( x , y ) ℜ\{g\_\{f,θ\}(x, y)\} ℜgf,θ(x,y)和虚部 ℑ g f , θ ( x , y ) ℑ\{g\_\{f,θ\}(x, y)\} ℑgf,θ(x,y)的复函数，赋值响应 ∣ ∣ g f , θ ( x , y ) ∣ ∣ ||g\_\{f,θ\}(x, y)|| ∣∣gf,θ(x,y)∣∣表示为:  
![在这里插入图片描述][20200826201854169.png_pic_center]  
![在这里插入图片描述][20200826220956964.png_pic_center]

本研究采用幅值响应 ∣ ∣ g f , θ ( x , y ) ∣ ∣ ||g\_\{f,θ\}(x, y)|| ∣∣gf,θ(x,y)∣∣表示特征。为了减少光照条件的影响，对每个方向的Gabor滤波器输出进行了归一化处理。在后续，一个 Q f , θ ( x , y ) Q\_\{f,θ\}(x,y) Qf,θ(x,y)到 ∣ ∣ g f , θ ( x , y ) ∣ ∣ ||g\_\{f,θ\}(x, y)|| ∣∣gf,θ(x,y)∣∣的变换如图3所示。  
![在这里插入图片描述][20200826222630928.png_pic_center]  
  函数 Q f , θ ( x , y ) Q\_\{f,θ\}(x,y) Qf,θ(x,y)取值在\[0,1\]，参数θ处在 θ = \{ 0 , π / 5 , 2 π / 5 , 3 π / 5 , 4 π / 5 \} θ=\\\{0,π/5,2π/5,3π/5,4π/5\\\} θ=\{ 0,π/5,2π/5,3π/5,4π/5\}

### 4 基于GABOR滤波器的神经网络 ###

人脸识别是通过带有反向传播算法的多层感知器结构实现的。神经网络的结构如图3所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]  
  第一层，称为Gabor层，接收Gabor特征。这一层的节点数显然等于包含Gabor特征的特征向量的维数。输出层的节点数等于网络需要识别的单个人脸的数量。该实验的epoch数为10,000，目标是将误差幅度减少到0.01。识别算法如图4所示流程图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]  
  为了评估该方法的有效性，对不同光照条件和不同方位的真实图像进行了实验。  
  我们使用CMU Pose, Illumination, and Expression (PIE)数据库\[13\]，选取了40个个体的200张图像，分别具有2种不同的Pose和5种不同的光照条件。数据库中一半的图像是为变形过程拍摄的。每幅图像的变形过程的三幅中间图像作为训练数据集，其余的图像作为探测图像进行识别测试。  
  所有的图像都经过Gabor滤波器，然后用15个Gabor滤波器进行卷积。对于每个人脸图像，输出15个图像，记录了伽柏滤波器响应的幅值大小。图5是一个典型的人脸图像，我们在三个不同的中间位置进行变形。因此，我们将这三幅图像(Fig. 5 i, ii, iii)放入数据库，通过Gabor filter进行训练。图6显示了一个典型人脸图像的结果。  
![在这里插入图片描述][20200826223525497.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]  
  利用Gabor滤波器的输出对神经网络进行训练。训练曲线如图7所示，表明了由于反向传播学习算法，误差在几个epoch内逐渐减少。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]

图形分析表明，变形图像的训练集也促进了学习和识别过程。该方法能成功地跟踪两种姿态之间的突变快照，提高了识别的概率。  
  最后，分析了该算法对人脸识别性能的影响。为了评估对比均衡的方法，我们对我们提出的系统(rms缩放Gabor)、弹性束图匹配(EBGM)和对数极坐标Gabor方法进行了比较。表1给出了使用不同方法的平均识别率的比较结果。在保持源图像和目标图像大小相同的情况下，对不同图像进行变形处理的性能评估。为了测试在训练集和图像数据库中使用变形的中间位姿的性能，我们将gabor特征应用到没有任何变形样本的图像数据库中。建立了两个不同的图像数据库用于人脸图像的识别。并在种子值为0.5时对该过程进行训练，得到两个不同的误差与迭代图，分别如图7和图8所示。在识别方面，我们为训练集提供了包含运动模糊和不运动模糊图像的相同样本集，该方法的识别成功率大大提高。实验结果表明，我们的方法也能在恶劣环境下识别人脸，且有显著的边际。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5][]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]

### 7 结论 ###

本文提出了一种基于神经网络的基于Gabor滤波系数的人脸识别系统，该系统能有效地应对光照变化。利用图像像素的均方根值进行对比度均衡，并在处理步骤中利用图像变形在两个不同姿态之间添加中间突变快照，大大提高了识别性能。  
  人脸识别系统应该从新图像中识别人脸，尽管同一张脸的图像之间存在差异。克服由于光照条件变化造成的图像变化障碍的一种常见方法是使用对这些变化相对不敏感的图像表示。这类表示法的例子有边缘映射、图像强度导数和图像与伽波样过滤器的卷积。本文着重对该方法在不同光照和不同视角下的人脸图像的有效性进行了评价。在1.2 GHz处理器的PC上，图像尺寸为100×100像素，Gabor变换的处理时间减少到不到1秒。从现在开始，该方法的有效性将通过测试更多的人的人脸图像和一些常见的数据库来证明。由于Gabor滤波器的幅值响应的每个像素对应一个Gabor特征，因此每个样本的Gabor特征数为100×100×15=15万。因此，我们的下一步将是改进算法，能够使用更复杂的分类器和距离度量来代表Gabor人脸的空间和频率特征。

[20200826150919783.png_pic_center]: /images/20221123/42eb74f5b0ad41ffb54d62f85d47a950.png
[20200826151617363.png_pic_center]: /images/20221123/fc94036c67a246efa16c94c41a199312.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/919ac5d8ac4144588a963a5b08313533.png
[20200826153754509.png_pic_center]: /images/20221123/371de5b01b3e4d7fb9863a6c5ccdfd14.png
[20200826154233977.png_pic_center]: /images/20221123/c1e9f021348d4bf7ac305a1b484d9d35.png
[20200826201605687.png_pic_center]: /images/20221123/24206e63517646daa14fd8f69367530b.png
[20200826201854169.png_pic_center]: /images/20221123/cd2dfd7f01b6442fb96b408b10934254.png
[20200826220956964.png_pic_center]: /images/20221123/fb24e65c8c7f442a850e14edb4842bbf.png
[20200826222630928.png_pic_center]: /images/20221123/6ab98ba62dd74a7c8e12672923947ff4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/1af66a89bebd44aa8a586211411b49a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/570d58e458f7435dbb565154860769a9.png
[20200826223525497.png_pic_center]: /images/20221123/7b577d12a323448bac8a4ccd8ba7a294.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/39e15fa744ce44f5b993e111fb333e55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/9df2bab3b3314b3cba0274f454bacb4f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/c67a57821baa490a82471e22fd26366d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/de0bde3040f94f5dba51f8c1de4b9637.png