（SQI）Face Recognition under Varying Lighting Conditions Using Self Quotient Image

男娘i 2022-12-04 01:28 139阅读 0赞

### 摘要 ###

本文引入了自商图像（SQI）的概念，用于在不同光照条件下进行鲁棒人脸识别。它是基于商图像法\[4\]\[5\]来实现光照不变性的。然而，SQI有三个优点：（1）它只需要一张人脸图像就可以提取出人脸的内在光照不变特性，同时去除与光照相对应的外部因素。（2） 不需要对齐。（3） 它在阴影下有效。对算法适用条件进行了理论分析，提出了一种计算SQI的非迭代滤波算法。实验结果验证了该方法在不同光照条件下鲁棒人脸识别的有效性。

### 1 引言 ###

光照变化是人脸识别中最困难的问题之一，近年来备受关注\[1-13\]。众所周知，由于光照变化而引起的图像变化比由于不同的个人身份而引起的图像变化更为显著\[12\]。近年来，许多算法被提出，让我们重点介绍三种主要的三维物体识别光照建模方法：光照锥\[1\]-\[3\]、商图像\[4\]\[5\]和球谐子空间\[6-10\]。  
  光照锥法从理论上解释了由于光照方向的变化而形成的光照锥。该算法同时考虑了自阴影和投射阴影，实验结果优于现有的大多数方法。  
  Ramamoorthi\[6-8\]和Basri\[9\]\[10\]独立提出了球谐表示。这种原始的表示解释了为什么在以前的一些经验实验中，物体在不同光照条件下的图像可以用低维子空间来描述\[16-18\]。在给定足够多的相同姿态和不同光照的训练图像的情况下，上述两种方法在一些人脸数据库上达到了近乎完美的识别率\[3\]\[19\]。然而，大训练集的需求限制了其在许多领域的应用。  
  虽然上述两种方法假设每个个体具有不同的三维几何结构，并且需要为每个人提供一个训练集，Shashua和Riklin Raviv\[4\]\[5\]提出的商图像是一种简单而实用的光照不变表示提取算法。结果表明，商像即测试图像与三幅非共面光照图像的线性组合的图像比值，只依赖于反照率信息，不受光照影响。  
  另一种处理照明问题的方法是从2D图像处理的角度。Jobson等人\[13\]\[14\]提出了一种多尺度的Retinex方法\[20\]，用于在低动态设备（如打印机和计算机屏幕）上实现高动态图像的高质量视觉显示。这与光照问题密切相关。最近Gross和Brajovie\[15\]提出了一个各向异性版本的Retinex，用于光照规范化。上述两组作者都提出了一种将输入图像的低频分量估计为光场，并通过从输入图像中减去它来补偿光照变化的算法。  
  本文试图区分成像过程中的外在因素和内在因素，分析它们对目标识别的影响。朗伯模型指出，三维物体的图像受三个因素的影响，即表面法线、反照率和光照。这些可以分解为表面法线和反照率的内在部分和光照的外部部分。物体的特性仅由内在因素决定，这实际上很大程度上推动了现有的光照规范化工作\[1-11\]。而纯粹的基于外观的学习方法，如PCA、ICA和LDA等，都是从混合了内、外因素的实例中学习外观模型的，我们的分析解释了为什么它们不能利用从学习模型中提取的特征来获得高性能。  
  本文从Lambertien模型的角度分析了Retinex算法，并证明了它与商图像的关系。在此基础上，我们提出了一种新的自商图像（SQI）的概念，即输入图像与其平滑图像的比值。我们分析了SQI的特性，证明了SQI是三维物体的光照不变表示。与商图像相比，SQI具有以下优点：（1）不需要对齐；（2）对阴影和非阴影区域都有效；（3）对任何类型的光源都有效。  
  本文组织如下：第二节分析了相关方法，Retinex方法和商图像方法。第三节建立了SQI的概念，介绍了我们的多尺度各向异性方法及其与QI的关系，并分析了它在不同成像情况下的特性。第四节对实验结果进行了分析，最后在第五节得出结论。

### 2 相关工作 ###

Retinex算法基于反射照明模型（1），而不是Lambertian模型（4）。  
![在这里插入图片描述][20200905102424992.png_pic_center]  
其中I是图像，R是场景的反射率，L是光照  
  正如球面谐波分析\[6-10\]从理论上证明的那样，照明L可以被视为图像I的低频分量，因此可以通过使用低通滤波器进行估计  
![在这里插入图片描述][20200905102602335.png_pic_center]  
其中F是高斯滤波器，\*表示卷积运算。中心/环绕Retinex的一般形式可以定义为  
![在这里插入图片描述][20200905102728772.png_pic_center]  
  \[13\]\[14\]中的Retinex是为动态范围压缩而设计的，用于在打印机和屏幕等低动态范围的设备上显示高动态范围的图像。他们根据获得的最佳视觉效果对图像进行处理，而没有量化标准来衡量Retinex的结果。  
  商图像法\[4\]\[5\]是为处理人脸识别中的光照变化而设计的。它提供了不同光照条件下人脸图像的不变表示。这个理论是基于朗伯模型的  
![在这里插入图片描述][20200905102934390.png_pic_center]  
式中ρ是人脸的反照率（表面纹理）， n ( x , y ) T n(x,y)^T n(x,y)T是物体的表面法线（3D形状）（对于该类的所有物体都一样），s是点光源，可以任意变化。  
  人脸y相对于人脸a的商图像 Q y Q\_y Qy定义为  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]  
其中，u和v是图像上的范围， I y I\_y Iy是光照方向为 s y s\_y sy时对象y的图像， x j x\_j xj是基于训练集的最小二乘估计的组合系数\[4\]\[5\]， I 1 ， I 2 ， I 3 I\_1，I\_2，I\_3 I1，I2，I3是三个非共线照明图像。  
  在商图像框架下进行了以下假设：（a）成像过程遵循无阴影的朗伯模型，物体由点光源照明；（b）所有被考虑的人脸具有相同的形状，即相同的表面法线；（c）人脸图像中没有阴影；（d）人脸间的精确对齐面是已知的；并且（e）在至少三个非共线光照下的训练集可用作估计光照方向的基础。  
  然而，在人脸识别系统中，上述假设不能同时满足。  
  例如，光源一般不具有针对性；不同人的三维脸型一般不相同；阴影可以存在；精确的对齐至今仍是一个未解决的问题。  
  在下面，我们将介绍我们所称的自商图像，并证明它具有与原始商图像相似的光照不变特性，但也具有一些技术优势。

### 3 SQI及其光照不变性分析 ###

##### 3.1 SQI定义及其光照不变性分析 #####

本文将自商图像定义为人脸图像的一种内在属性。  
**定义1：**（自商图像SQI）图像I的自商图像Q由下式定义  
![在这里插入图片描述][2020090510402015.png_pic_center]  
其中I^是I的平滑版本，F是平滑核，与原始商图像一样，除法是逐点的。我们称Q为自商图像，因为它是从一个图像中派生出来的，并且与商图像方法中的商形式相同。我们将在本节的下一部分中演示SQI与商图像具有相似的光照不变性。但商意象与自商意象有显著差异。（1） 自商图像是由一幅图像计算得到的，（2）自商图像只采用图像处理技术，不需要经验学习；（3）对人脸图像没有假设  
  下面使用朗伯模型演示照明不变性，但是存在阴影。什么时候如果存在阴影，则具有阴影的Lambertian模型可以表示为  
![在这里插入图片描述][20200905104526428.png_pic_center]  
  在SQI分析中，我们考虑了三种不同形状和阴影条件的情况。  
**情况1：** 在没有阴影且nT变化较小的区域。在这种情况下， n T ( u , v ) s ≈ C 1 n^T(u,v)s≈C\_1 nT(u,v)s≈C1，其中 C 1 C\_1 C1是常数。然后我们有  
![在这里插入图片描述][202009051101183.png_pic_center]  
在这种情况下，Q是近似光照无关的，并且只依赖于面部的反照率。式（8）在形式上类似于商像，但它仅从自像计算。  
**情况2：** 在无阴影但nT变化较大的区域。在这种情况下， n T ( u , v ) s n^T(u,v)s nT(u,v)s不是常数。SQI为：  
![在这里插入图片描述][20200905110327361.png_pic_center]  
在这些区域，Q取决于3D形状、反照率和光照nT。因此，在这种情况下，Q不是光照无关的。  
**情况3：** 在阴影区域。在这些区域，灰度值较低，变化较小。我们假设在阴影区域，光从各个方向均匀分布，即对于阴影中的任何 n T ( u , v ) n^T(u,v) nT(u,v)，所有可见光形成一个半半球。因此，在这些区域，nT和si之间的点积之和是常数。  
![在这里插入图片描述][20200905111510135.png_pic_center]  
其中C2是常数。因此，阴影区的Q可以写成方程（8）。  
  与情况1一样，这种区域中的SQI也是无光照的；换句话说，SQI可以去除阴影效果，如图1所示。  
![在这里插入图片描述][2020090511273833.png_pic_center]  
  尽管该分析基于带点光源的朗伯模型，但它也适用于其他类型的光源。这是因为任何照明都可以表示为L点光源的线性组合，如下所示  
![在这里插入图片描述][2020090511284126.png_pic_center]  
  如果我们用上述方法来代替案例1-3中的点光源s，则解析结果仍然成立。  
  以上分析显示了自商图像的两个特性：（1）对于情况1和3，该算法对光照变化具有鲁棒性。（2） 在这种情况下，反射率和RETI并不依赖于图像，而是取决于图像的反射率比。  
  在人脸识别中，如果能保证滤波器的核尺寸相对于人脸表面法线nT的变化足够小，则分析得到的自商图像是无光照的以前。但是，当过滤器的内核太小时，SQI将接近1，反照率信息丢失。  
  图2显示了自商图像过滤的结果。男孩头发的自商图像不像原来的图像那样暗，整个脸看起来更平坦，阴影也被去除了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]  
  与原始商图像相比，自商方法的优点如下：（1）图像 I I I与其平滑版本KaTeX parse error: Expected group after '^' at position 2: I^̲之间的对齐是自动完成的，因此不需要对齐过程。（2） 由于 I I I和KaTeX parse error: Expected group after '^' at position 2: I^̲的光场相似，因此不需要训练图像来估计光照方向。（3） 自商图像具有很好的去阴影能力，而在以前的方法\[1-11\]中，阴影问题要么被忽略，要么通过复杂的三维渲染来解决。（4） 光源可以是任何类型  
  注意Q的性质依赖于核的大小。如果F的核尺寸太小，Q将接近于1，反照率信息将严重减少。如果F的核尺寸过大，在台阶边缘区域附近会出现光晕效应。我们使用多尺度技术使结果更加稳健，并且在实际应用中，我们选择核大小来处理更平滑的区域。

##### 3.2 SQI实现 #####

SQI所需的唯一处理就是平滑滤波。我们为各向异性平滑设计了加权高斯滤波器，如图3所示，其中W是权重，G是高斯核，N是归一化因子。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]

![在这里插入图片描述][20200905121102384.png_pic_center]  
其中Ω是卷积核的大小。根据阈值τ将卷积区域分为两个子区域M1和M2。假设M1比M2中的像素更多，τ的计算公式如下：  
![在这里插入图片描述][2020090512134031.png_pic_center]  
对于这两个子区域，W有相应的值。  
![在这里插入图片描述][20200905121459546.png_pic_center]  
  如果卷积图像区域是平滑的，即灰度值变化很小（非边缘区域），那么整个区域的平滑和部分区域的平滑也没有什么差别。当卷积区域（即边缘区域）的灰度值变化较大时，阈值可以沿边缘将卷积区域分为M1和M2两部分，滤波核只与包含更多像素的大部分M1卷积。因此，加权高斯核可以显著降低晕效应。  
  这种各向异性滤波器的实质是在阶跃边缘区域的情况下，只平滑卷积区域的主要部分，即边缘区域的一侧。  
  SQI中的除法运算可以放大高频噪声，尤其是在低信噪比区域，如阴影中。为了减少Q中的噪声，我们使用非线性变换函数将Q变换为D，其中T为非线性变换  
![在这里插入图片描述][20200905121733665.png_pic_center]  
  Jobson等人\[13\]\[14\]使用对数，这被认为是人类视觉能力的相似特征。我们在实验中发现，反正切函数和Sigmoid非线性函数在动态范围压缩中具有相似或更好的识别效果。  
  我们对SQI方法的实施总结如下：  
(1)选择几个平滑核 G 1 , G 2 , . . . G n G\_1,G\_2,...G\_n G1,G2,...Gn并根据图像I计算相应权重 W 1 , W 2 , . . . W n W\_1,W\_2,...W\_n W1,W2,...Wn，然后通过每个各向异性滤波器 W G i WG\_i WGi来平滑I。  
![在这里插入图片描述][20200905153500270.png_pic_center]  
计算I和每一个平滑版本I^k的商图像  
(2)用非线性函数转化自商图像  
![在这里插入图片描述][20200905153957723.png_pic_center]  
(3)总结非线性传递结果  
![在这里插入图片描述][20200905154033634.png_pic_center]  
m1，m2，mn是每个滤波器尺度的权重，我们在实验中将它们设置为1。

### 4 实验和讨论 ###

利用Yale人脸数据库B\[3\]和CMU-PIE人脸数据库\[19\]对SQI人脸识别进行了实验研究。从两个人脸数据库中选择具有光照变化的正面人脸图像，以减少光照变化引起的图像变化。CMU-PIE共有68名受试者，选取在20种不同光照条件下拍摄的无背景光照的正面人脸图像。YaleB提供了640张图片（10个受试者各64张图片），每个图片的眼睛、鼻子和嘴巴都被手动定位，然后脸部被对齐并裁剪。PCA和原始QI方法也被作为基线，其中PCA（60维）是通过使用PIE或yaleb数据集中的所有例子来学习的。  
  图4显示了基于SQI的光照规范化的一些结果。我们可以看出，基于卷积的各向异性滤波在平滑噪声图像的同时又不会使阶跃边缘变得模糊，从而消除阴影。  
![在这里插入图片描述][20200905154513779.png_pic_center]

对于PIE数据集，采用“留一”方案，即每个图像依次作为模板，其他图像作为测试图像。图5比较了20个不同的leave-one-out分区的结果。对于yaleb数据集，将图像分为4个增加照明角度的子集，只使用正面照明图像作为模板。图6显示了4个不同数据集的结果。与PCA和原始QI算法相比，新算法SQI在CMU-PIE和yaleb人脸库中都能显著提高识别率。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]

### 5 结论 ###

我们介绍了一种新的算法，自商图像（SQI），用于在不同光照条件下的鲁棒人脸识别。根据Lambertian模型，分析了自商算法的光照不变性和变异性。虽然SQI的形式与QI相似，但它只需要一张人脸图像就可以实现，并且不需要在SQI过程中进行对齐。该算法具有去阴影的特殊能力。实验结果表明，在不同光照条件下，SQI方法能显著提高人脸图像的识别率。

[20200905102424992.png_pic_center]: /images/20221123/f024bb8c5c754c0cadb54b2373e79386.png
[20200905102602335.png_pic_center]: /images/20221123/13b5438014db4bb8829838bb3c19eb53.png
[20200905102728772.png_pic_center]: /images/20221123/4dba1c57fa024c0d8fbf6e27ba688a41.png
[20200905102934390.png_pic_center]: /images/20221123/2a086f9b500b4d10a7f39f388db1b4ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/45715713a07346fd9ae7839c3665de6c.png
[2020090510402015.png_pic_center]: /images/20221123/9965a3cb52384bd1ba9c9288e248a7d5.png
[20200905104526428.png_pic_center]: /images/20221123/d4bed911a63e43a19f5ef0c82da4cec7.png
[202009051101183.png_pic_center]: /images/20221123/b1429839059d4628b29d476d489efa89.png
[20200905110327361.png_pic_center]: /images/20221123/ceb5c6ab878543e0997c6fcaa69f7982.png
[20200905111510135.png_pic_center]: /images/20221123/f9f761960a9643ff8954d0e141466e19.png
[2020090511273833.png_pic_center]: /images/20221123/194f86b35d4b41f48111303d425111c9.png
[2020090511284126.png_pic_center]: /images/20221123/4a43e330e3ba42b2b7d41b3d1f730a6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/a168d86d1bdb4ba399331a1b747be911.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/76075c920c764c8383449f81524f0109.png
[20200905121102384.png_pic_center]: /images/20221123/13ba53efcee243af9c14c7e81da7f45b.png
[2020090512134031.png_pic_center]: /images/20221123/ada2946f0ba949419a77e0feb6516bf9.png
[20200905121459546.png_pic_center]: /images/20221123/c7f01830d0474c19ae51dffe3e391f99.png
[20200905121733665.png_pic_center]: /images/20221123/c26c97cc24bf4453ae275f74503af194.png
[20200905153500270.png_pic_center]: /images/20221123/e048de6f3b16459ca986e21a4c7e832d.png
[20200905153957723.png_pic_center]: /images/20221123/b6ec15f9ae334e2fb0d4794e60874229.png
[20200905154033634.png_pic_center]: /images/20221123/11a0a27b856b4e8a8b0892f3f4326e95.png
[20200905154513779.png_pic_center]: /images/20221123/cbe84693638c45cda28ebcea782e40d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/3e547d55de814f358f359a4a0ce06a33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/17fb04f7fd8346778f35679b55986273.png