SVD Face: Illumination-Invariant Face Representation

旧城等待， 2022-12-10 07:28 182阅读 0赞

### 摘要 ###

在本文，我们提出了一种新的方法来提取光照不变特征用于在不同的光照下人脸识别和验证。奇异值分解(SVD)的归一化系数对不同光照条件不敏感，受此启发，我们开发了一种简单而强大的描述人脸底层结构的方案，即所谓的奇异值分解人脸。与之前的方法仍然存在细节缺失的问题相比，我们的奇异值分解人脸通过对奇异值分解系数进行松弛，极大地保留了原始图像的纹理。理论分析表明，我们的SVD人脸是一个光照不变的测度，能够发现人脸图像中有意义的成分(如眼睛、嘴巴等)，同时抑制各种光照的影响。在Yale B和我们的光照人脸(IF)数据集上的实验结果表明，与以前相比，SVD人脸识别和验证是有效的。

### 1 引言 ###

光化归一化在图像配准、立体视觉和目标检测等广泛的图像处理领域中是一项必不可少的任务。近年来，其最重要的应用之一是在不同光照条件下的人脸识别。然而，脸部不同的光照通常会导致一些不受欢迎的问题，例如，阴影产生的虚假边缘很容易与面部成分(如眼睛和嘴)的真实边界混淆。因此，为了提高人脸识别与验证的性能，许多研究者都花费了大量的精力来获取光照不变的人脸图像。为了解决这个问题，主要的想法是建模一个模型，将图像I看作反射率R和照明L的乘积(例如, I = R L I=RL I=RL)\[1\]。基于此，大多数以前的方法都试图从给定的图像中去除光照以达到光照不变的效果。其中，Wang et al.\[2\]提出了自商图像(SQI)，它与之前关于Land\[3\]的想法是相似的。在\[2\]中，他们通过将给定的图像除以图像本身的平滑版本来去除光照效果。Chen等人\[4\]在假设光照变化主要发生在低频的基础上截断了适当数量的DCT系数。另一方面，\[5\]的作者尝试利用总变分模型将人脸分解为小尺度的面部成分(如眼睛、鼻子、嘴巴等)和大尺度的皮肤区域。Tan和Triggs\[6\]结合现有技术(伽马校正、DoG滤波和对比度均衡)构建了光照归一化流程。此外，一些方法使用对比概念来应对不同的光照条件。Zhang等\[7\]根据水平和垂直梯度的比值构建梯度脸。在\[8\]中，作者们受到了韦伯定律的启发，该定律暗示人们对刺激的感知不是以绝对值而是以相对差异(即对比)的形式，并利用局部强度与其周围环境变化的比率提出了韦伯脸。这些方法虽然简单快速，但会丢失原始人脸的纹理信息，导致性能明显下降。此外，由于光照条件的突变，它们容易产生强边缘。图1给出了由前面方法生成的光照不变量人脸的示例。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]  
  在本文中，我们提出了一个简单和鲁棒的方法来表示变化光照下的人脸。我们的模型背后的基本原理是奇异值分解(SVD)的归一化系数对不同的光照条件不敏感。与之前有轻微的扰动就常常失败的方法相比，我们的方法有能力在抑制包括投射阴影在内的各种光照的影响下成功地生成人脸的底层结构。此外，本文方法通过对SVD系数进行松弛，极大地保留了原始图像的  
纹理(图1(e))。这是相当可取的，以实现鲁棒的人脸识别和验证，在广泛的场景。实验结果表明，奇异值分解人脸的识别和验证性能显著提高了传统的人脸识别和验证方法。

### 2 SVD脸 光照不变人脸表示 ###

##### A SVD脸 #####

基于svd的方案的有用性源于它对局部强度的分布进行了因式分解，相应的系数(即奇异值)很可能揭示光照不变特性。在此基础上，我们对以(x,y)为中心的Ｎ×Ｎ局部像素块B(x,y)进行奇异值分解， B ( x , y ) = U S V T B(x,y)=USV^T B(x,y)=USVT，其中U和V为正交矩阵满足 U T U = I , V T V = I U^TU=I,V^TV=I UTU=I,VTV=I。 S = d i a g ( λ 1 , λ 2 , . . . λ N ) S=diag(λ\_1,λ\_2,...λ\_N) S=diag(λ1,λ2,...λN)的对角项表示B(x,y)的奇异值。然后用奇异值之和对最大奇异值 λ 1 λ\_1 λ1进行归一化，如下:  
![在这里插入图片描述][20200924212910182.png_pic_center]  
其中 λ j λ\_j λj代表第j个奇异值。值得注意的是，我们选择一个归一化的 λ 1 λ\_1 λ1作为我们的特征，因为它表明了子空间的能量。更具体地说，SF值的分布如图2所示。我们可以看到，即使在不同光照下，我们的特征空间的统计特征也是相当一致的，因此，我们期望所提出的SF值能够有效地提供光照不变的人脸特征。SF(x,y)的值缩放为0-255的灰度表示，我们称为SVD脸。图3展示了SVD人脸的一些例子。可以看出，该方法成功地保留了不同光照条件下的人脸结构。需要强调的是，即使光照条件发生突变，我们的SVD人脸也表现得很好图3)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]  
  下面，我们从理论上证明了局部强度奇异值分解的归一化系数是光照不变的。为此，我们利用Lambertian模型将像素值定义为反射率和光照分量的乘积，如下所示:  
![在这里插入图片描述][20200924215349361.png_pic_center]  
其中R(x,y)和L(x,y)代表(x,y)位置的反射和照度。更确切的说，L(x,y)为每个接收对象(如面)表面的光能量，可以进一步表示为\[9\]、\[10\]:  
![在这里插入图片描述][2020092421552755.png_pic_center]  
其中 c p c\_p cp和 c a c\_a ca是光源强度和环境光。φ表示由光源方向和表面法线包围的角度。t是半暗区内部的过渡。现在，令 B i B\_i Bi， B p B\_p Bp和 B u B\_u Bu是同一对象分别从光照、半暗和暗区条件下获得三个的N×N图像块。通过假设 L ( x , y ) ≈ L ( m , n ) L(x,y)≈L(m,n) L(x,y)≈L(m,n),其中 ( m , n ) ∈ B k ( x , y ) , k ∈ \{ i , p , u \} (m,n)∈B\_k(x,y),k∈\\\{i,p,u\\\} (m,n)∈Bk(x,y),k∈\{ i,p,u\}(例， t , φ , c p , c a t,φ,c\_p,c\_a t,φ,cp,ca在小图像块中近似为一个常量)，我们可以将图像块重写如下:  
![在这里插入图片描述][20200924220721968.png_pic_center]  
然后对每个图像块进行奇异值分解，即: B k = U k S k V k T B\_k=U\_kS\_kV\_k^T Bk=UkSkVkT，根据(3)可方便地推导出三个区块间的关系如下:  
![在这里插入图片描述][20200924220953802.png_pic_center]  
其中 S k = d i a g ( λ 1 k , λ 2 k , . . . λ N k ) ， k ∈ \{ i , p , u \} S\_k=diag(λ^k\_1,λ^k\_2,...λ^k\_N)，k∈\\\{i,p,u\\\} Sk=diag(λ1k,λ2k,...λNk)，k∈\{ i,p,u\}。基于(5)，三种光照下的SF(x,y)值可以被写为  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]  
  从上面的方程，我们可以看到，我们提出的SF(x,y)值在同一物体上的照亮，半影和阴影区域是相同的。一个简单的例子如图4所示。可以看出，同一点①在三种光照条件下的SF值是相似的。因此，我们认为SVD人脸是作为人脸图像的光照不变表示。

##### B 实现 #####

由于一个奇异值(例如，归一化的 λ 1 λ\_1 λ1)仅仅粗略地模拟了强度的分布，原始图像的纹理可能不会被完全保留。为了将这种纹理的破坏放松到最终的表现中，我们在参考对应项中添加了简单的偏差项，即:  
![在这里插入图片描述][20200925085653762.png_pic_center]  
  请注意，较大的τ可能会稀释光照不变特性，因此输入图像的阴影和纹理会显示得更强烈。这种放松的目的是将原始人脸图像中的纹理包含进来，从而提高人脸识别和验证的性能。图5显示了不同τ值的松弛结果的一些例子。在大量实验的基础上，我们证实 τ = 5 τ=5 τ=5或 τ = 10 τ=10 τ=10在人脸识别和验证中具有良好的性能。因此，我们使用 λ j ～ λ^～\_j λj～计算SF(x,y)值来生成SVD脸。值得注意的是，与之前的方案\[7\]，\[8\]不同，我们的方法不需要高斯平滑。为了完整起见，在算法1中总结了所提方法的整个过程。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]

### 3 实验结果 ###

##### A.人脸识别的性能评估 #####

在本节中，我们将演示使用Yale B人脸数据集及其扩展版本(Yale B Ext.)\[11\]所提出的用于人脸识别的SVD人脸的性能。这些数据集由分别在64个光照条件下捕获的10个和38个正面提出的受试者组成，这比CMU-PIE数据集\[12\]更具挑战性。为了评估识别性能，我们采用了最近邻规则\[8\]和余弦相似度作为分类器。我们选择一张在中性光条件下拍摄的图像(即“A+00E+00”)作为图库，其他图像作为探针。为了生成SVD人脸，我们使用N=3(例如，B的像素为3×3)和τ=5。  
  为了显示该方法的效率和鲁棒性,我们比较我们(SF)与其他竞争方法,如基于自商图像的方法(SQI)\[2\],基于DCT方法(DCT)\[4\],基于对数总变差模型方法(LTV)\[5\],基于梯度脸方法(GF)\[7\],基于预处理流程方法(PP)\[6\],和基于韦伯脸方法(WF)\[8\]。几个光照不变的人脸生成结果如图6所示。可以看出，与之前的方法相比，我们的SVD人脸成功地抑制了光照效果，同时保留了给定人脸的潜在结构。特别地，我们提出的方法即使在光照和阴影较强的情况下，也能得到理想的结果(见图6的第4、5、6列)，相应的识别率也如表1所示。注意，我们提供的是原始图像的识别结果，没有进行任何预处理作为基线。从表I中，我们证实了我们的SVD人脸显著提高了识别性能。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5]  
![在这里插入图片描述][20200925092853768.png_pic_center]

##### B 人脸验证的性能评价 #####

人脸验证，即确定两张人脸图像是否属于同一个人，已经成为智能手机、电视、安全领域等个人登录系统的关键。为此，我们构建我们的数据集，称为照亮人脸(IF)数据集，包括如图7所示的各种照明条件。更具体地说，我们的IF数据集包含277个gallery，每个gallery有三张图片，分别有2216对匹配和不匹配的图片，共350人产生。请注意，脸部大致对齐并裁剪成80×140像素。为了评估验证率，我们首先从经过处理的人脸图像中提取LBP特征\[13\]，然后基于PCA-LDA分类器\[14\]进行训练和测试。注意，我们使用了与前面小节中提到的相同的参数来生成SVD脸。在我们的IF数据集上用不同方法处理的一些例子如图7所示。可见，该方法在室内和室外环境中都能有效地揭示不同光照下的人脸成分。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]  
  对于定量评价，我们采用图8(b)所示ROC曲线来检验验证率。我们还提供了其他指标，如表II中的ROC曲线下面积(AUC)和等错误率(EER)。从图8和表II中可以看出，在总共4432对(匹配2216对/不匹配2216对)的两张人脸图像中，我们所提出的方法在判断两张人脸图像是否属于同一个人方面取得了最好的效果。值得注意的是，大多数之前的方法会导致性能比基线下降，因为即使在中性光条件下，它们也容易扭曲原始纹理。相反，我们的SVD在不同的光照条件下始终保持原始纹理。最后，在一台低端PC (3.0 GB RAM，不进行并行处理)上实现了该方法的框架。生成SVD人脸的处理时间平均为20帧/秒。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 7]  
![在这里插入图片描述][2020092509451057.png_pic_center]

##### 5 结论 #####

本文提出了一种简单、鲁棒的光照不变人脸图像生成方法。该方法的基本思想是采用局部强度奇异值分解的归一化系数作为特征。我们还对SVD系数进行了松弛，有效地保留了原始图像的纹理。基于大量的实验结果，我们确认我们的SVD人脸在不同的光照条件下提供了可靠的人脸图像。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/cf2af89c4c90454c9468cbe65a164d35.png
[20200924212910182.png_pic_center]: /images/20221123/c772bdf2e9bc4d6d9888b9c598badd60.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/19a3d588f60d4cd7a0c933744d829d46.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/366d77e93a25444b9fcfa55926faec97.png
[20200924215349361.png_pic_center]: /images/20221123/8a30ba26353b4012a4abb7d91bcc2956.png
[2020092421552755.png_pic_center]: /images/20221123/71aecb725b6b4602aaa28db130883cc7.png
[20200924220721968.png_pic_center]: /images/20221123/cf5c709584244a028a5b0a14099578c5.png
[20200924220953802.png_pic_center]: /images/20221123/4790a76c31b04936b16adf65f01afbab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/42fc9da33b414420a6afdc14c4fc7038.png
[20200925085653762.png_pic_center]: /images/20221123/8622031dbe914b568eeae05b72db6170.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/1a6e1d6164974ac98188fe2d25840fc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/2ced5cf058d6488382ba4c576b4aa129.png
[20200925092853768.png_pic_center]: /images/20221123/50e7e5734ee1476189d4d273d4fb30d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/a90fc954c1bc400ca0b23269179f1b67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/7520886d9d894003b73c7ab16faa4987.png
[2020092509451057.png_pic_center]: /images/20221123/672dc9952db54dc896bb296f1d575c4d.png