论文阅读笔记

ゝ一纸荒年。 2023-01-03 01:46 180阅读 0赞

> hello，这是鑫鑫鑫的论文分享站，今天分享的文章是On Generative Adversarial Network Based Synthetic Iris Presentation Attack And Its Detection，一篇关于虹膜攻击防御的博士论文，一起来看看吧~

摘要：本文提出了一种基于深度学习的合成虹膜图像呈现攻击方法，利用深度卷积生成对抗网络的生成能力和虹膜质量指标，提出了一个新的框架，成为IDC-GAN，已创建逼真的合成虹膜图像由于合成的虹膜图像可以有效的应用于虹膜呈现攻击中，因此区分真的和假的虹膜非常重要。为此，提出了一种基于结构和纹理特征的虹膜呈现攻击检测框架DESIST，DESIST的重点是开大一个统一的框架来检测混合的虹膜攻击，包括合成虹膜攻击，实验结果表明，所提出的DESIST框架在检测合成虹膜呈现攻击中的有效性。

**1.1虹膜识别系统示意图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]  
一个典型的生物识别系统由采集传感器、预处理单元、特征提取器、数据库和匹配模块组成。对于虹膜识别，图像采集模块使用近红外传感器采集虹膜图像。预处理单元对输入虹膜图像进行增强，用于分割实际虹膜区域。然后进行归一化，将分割后的虹膜图像转换为归一化的虹膜图像空间。特征提取器模块提取虹膜相关特征(如汉明码)，并将其作为模板进行编码。matcher 模块将输入/查询的iris 特性与图库模板进行比较，以计算匹配分数。  
第一个成功的虹膜识别算法是由John dougman申请专利的。道格曼算法的关键思想是对拟合在栅格上的Gabor小波相位统计独立性的测试，该栅格的位置叠加在虹膜纹理的伪极变换上。多年来，他的算法- -直是占主导地位和最受欢迎的虹膜识别方法。

**1.4论文的贡献；**  
本论文中，提出了一种新的虹膜呈现攻击，通过深度卷积生成对抗网络来合成虹膜图像。如前所述，最近，生成对抗网络和变分自动编码器等技术的改进在生成新图像方面提供了突破。这些方法为为不同的应用程序生成逼真的合成图像铺平了道路。在这篇论文中，我们提出了一种新的合成虹膜图像生成方法，使用生成对抗网络，并证明它可以攻击虹膜识别系统。此外，还提出了一种新的显示攻击检测算法来检测包括合成显示攻击在内的多种虹膜显示攻击。本文的主要贡献是:  
●提出了一种新的领域特定的生成对抗网络(GAN)，称为iDCGAN，用于生成合成虹膜图像。利用虹膜质量评估，采用深度卷积生成对抗网络合成逼真的虹膜图像。  
●利用真实和综合生成的虹膜图像的质量评分分布进行分析，以了解所提方法的有效性。我们还证明了合成的虹膜图像可以用来攻击现有的虹膜识别系统。  
●我们提出了一个新的框架，利用结构和纹理特征来检测多种虹膜呈现攻击，包括合成虹膜。  
●使用提出的虹膜呈现攻击检测算法进行评估，以确定其在区分合成图像和真实图像方面的有效性。

**2.虹膜知识**

**2.1虹膜生成研究现状：**  
Choi等人\[5\]介绍了STAR-GAN，这是一种可扩展的图像到图像的多域转换模型，使用单一的产生器和识别器。最后，Karras等人\[7\]展示了一种新的方法，通过逐步增长生成器和鉴别器网络来训练生成式对抗网络。Lefohn等人\[8\]提出了一种方法来创建一个与真实人类虹膜纹理相匹配的假眼球。其他研究人员提出了基于纹理和基于模型的方法来生成虹膜图案，然后人工添加其他眼睛区域。最近，Cardoso等人\[10\]描述了一种合成眼部数据的随机方法。特别是，生成合成虹膜图像的想法最初是由Cui等人引入的，其目的是增加可用虹膜图像的数量，以便开发虹膜识别算法。他们使用主成分分析和超分辨率技术来创建虹膜合成的新图像。Shah和Ross\[9\]利用马尔可夫随机场生成虹膜图像的初始纹理。其他虹膜特征，如径向和同心沟被嵌入，以创建最终的合成虹膜图像。Zuo等人开发了一种基于解剖学的模型来生成真实的虹膜图像。Galbally等人利用特征模板重建合成的虹膜图像，主要目标是将生成的虹膜图像与原始真实的虹膜图像进行匹配。

**2.2虹膜数据库**  
由合成虹膜组成的公开可用的数据库：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]  
**2.3虹膜检测**  
基于软件的虹膜呈现攻击算法检测：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 2]  
**3.iDCGAN生成虹膜图像**  
提出了利用深度卷积生成对抗网络来合成虹膜图像的攻击方法。  
创新点：

1.  提出了一种用于合成虹膜图像的领域特异性生成对抗网络(iDCGAN)。我们采用深度卷积生成对抗网络，利用虹膜质量评估来合成逼真的虹膜图像。
2.  通过对真实和合成的虹膜图像的质量评分分布进行分析，以了解所提方法的有效性。  
    3.我们还证明了合成的虹膜图像可以用来攻击现有的虹膜识别系统。与Galbally等人\[2\]相比，该框架的优点是使用该框架创建合成虹膜图像时不需要二值特征模板。

**3.1.1 GAN**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 3]  
设x为真实概率分布为p(x)的输入数据。设G为生成网络，该生成网络取一个输入潜在向量z，从噪声概率分布Pnoise(z)中提取，输出一个新的图像¯x。那么，鉴别器网络D必须辨别从x或¯x中随机选择的输入图像是否由真实概率分布p(x)生成。这两个模型是训练使用一个极小极大目标和损失函数L显示在如下等式：![在这里插入图片描述][20210112110748715.png]  
**3.1.2 IDCGAN：**

![在这里插入图片描述][2021011211100085.png]  
Q(x)是一个质量评估函数，取输入虹膜图像，并分配相应的质量分数。因此，在提出的iDCGAN框架中，生成网络G生成新的虹膜图像，条件是高质量的分数。输入潜在向量由噪声分布p(z)产生。这被提供作为生成器网络的输入，其中生成器根据所学的表示生成虹膜图像。对生成器G生成的虹膜图像进行质量评价。虹膜图像的质量在第一四分位数从组中删除被传递给鉴别器网络D类似于上面的步骤中,真正的虹膜图像鉴别器的输入网络D是过滤,这样训练集包含虹膜图像的质量分数高于第一四分位数。不断生成新的样本来训练所提出的iDCGAN发生器和识别器。

**3.1.3实现细节：**  
对输入的虹膜图像进行分割，只考虑虹膜和瞳孔区域作为iDCGAN框架的输入。该框架使用Python语言使用TensorFlow库实现。产生器和鉴别器网络都是深度卷积神经网络。该鉴别器网络由4个卷积层组成，核大小为5×5，步数为2，批处理归一化和泄漏校正单元。发电机网络由4个跨步置换卷积层组成，内核大小为5×5，跨步为2，批处理归一化和整流单元（relu等）。最终合成的虹膜图像的大小是128×128。采用0.0002的学习率和Adam优化器对所提出的iDCGAN进行训练。

**3.2 生成的虹膜图像质量：**

*  用于判断生成虹膜图像质量的指标：  
    瞳孔边界圆度、瞳孔对比度、瞳孔同心度、锐度、综合质量（每一个数据都有直方图的结果对比）
 *  综合质量评分：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 4]

**3.3 用iDCGAN生成的虹膜用于攻击**

数据：8905张真实和8905张合成图像，  
结果：在将合成虹膜虚假接受度降至0%后， 我们观察到15.2%的真实虹膜真实分数被错误分类为冒牌货。另一方面,将真实虹膜假拒绝率降至0%，可使综合假接受率达到67.66%

**4.PAD部分-DESIST**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 5]  
这是采用结构和纹理特征DESIST框架进行PAD检测的方法。该框架通过将原始图像投影到泽尼克矩空间来学习局部结构变化。通过输入虹膜图像计算多阶密集Zernike矩。我们还通过局部二进制模式来学习纹理信息，这些模式的方差解释了对比信息。最后，训练神经网络分类器检测欺骗虹膜图像和正常图像。该框架分为俩部分：图像分解结构：分析图像的局部区域；并进行纹理分析，观察与输入虹膜图像的对比变化。

**4.1.1利用Zernike矩进行图像的结构分解**  
Zernike moment（ZMs）因其跨尺度、旋转、平移的不变性而闻名，所以他成功应用于虹膜分割和远距离虹膜识别中，提取这些Zernike矩用来捕捉伪造虹膜图像和正常虹膜图像之间形状的变化。图像的ZMs定义在正交多项式集上，设计径向多项式R的计算R（n，m），计算多项式后，可以计算Zernike函数，并确定书UR突袭那个在这些函数上的投影。  
径向多项式R表示如下：![在这里插入图片描述][20210106201700860.png]  
ρ为像心与向上对应点（x，y）的距离，n为多项式阶数，m绝对值<n,n-m绝对值是偶数，Zernike基函数计算：  
![在这里插入图片描述][20210106205236581.png]  
（N\*N大小的图像）  
![在这里插入图片描述][20210106205323499.png]  
![在这里插入图片描述][20210106205401469.png]

给定虹膜图像I，对大小为P\*P的非重叠窗口的给定一对（n，m）进行稠密Zernike矩的计算，选取多对（n，m）计算多阶Zernike矩的振幅有助于增强输入虹膜图像的表示。

**4.1.2使用LBPV描述符进行纹理分析**  
进行纹理分析用来识别虹膜图像的纹理变化，使用LBPV局部二进制模式方差通过自适应加权LBP向量的区域方差来解释输入图像的对比度，由于获得的虹膜图像可能有不同的光照来源，因此对光照变化的鲁棒性更强。

**4.1.3特征融合和分类**  
Zernike矩和LBPV特征挺过来输入虹膜图像的互补信息，之后，通过特征级融合将他们连接起来，将融合的特征向量作为ANN的输入，已确定虹膜是否被欺骗。采用H隐节点训练三层神经网络，并采用缩放共轭梯度进行反向传播。

**4.2实验结论**

**4.2.1实验数据：**

组合数据库：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 6]  
**4.2.3性能比较**  
不同分类算法对于P虹膜呈现攻击的平均检测准确率：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 7]

如下是DEIST框架以及LUCID，BSIF分类器的结果比较：ROC曲线：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 8]  
根据图可以看出有极大的改善。

**4.3 在iDCGAN生成虹膜图像：**  
组合数据库和IDCGAN数据库性能比较：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 9]  
很难区分。

本文提出的DESIST框架应用于普通和欺骗虹膜图像的联合欺骗数据库时，识别准确率达到82.20%， 优于其他比较算法。此外，我们展示了DESIST 在由iDCGAN框架生成的合成虹膜图像上的性能，并观察到这些合成图像与之前生成的合成虹膜图像相比难以检测。

> 总结：本文提出了一种基于结构和纹理特征的虹膜欺骗检测框架(DESIST)。对虹膜图像进行了多阶密集Zernike矩的计算，该矩对虹膜图像结构的变化进行了编码。利用带有方差的局部二值模式(LBPV)来表示欺骗虹膜图像的纹理变化。提出的基于组合虹膜欺骗数据库的表达攻击检测框架的分类准确率最高，达到82.20%。我们也在iDCGAN生成的图像上展示了该框架的性能，并观察到当前的虹膜表示检测算法需要改进以检测此类攻击。人们对虹膜识别的兴趣日益增加，尤其是在移动设备上，这使得虹膜识别非常容易受到表示攻击，人们重新对开发复杂的表示攻击检测算法产生了兴趣。随着新的生成对抗算法的出现，如BEGAN\[6\]，BIG-GAN\[73\]，以及Wasserstein Autoencoders\[74\]等生成算法不断改进。这些算法可以与虹膜质量测量相结合，以产生更高分辨率的真实虹膜图像。新的基于深度学习的表示攻击检测算法需要训练以获得更好的性能。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70]: /images/20221119/38d807fd3ecf4074b3569874ca703763.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 1]: /images/20221119/936cbf4592434415a6e20c6ddc7214e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 2]: /images/20221119/ac89b85b917840cd942502c3b19d64dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 3]: /images/20221119/8f3292a8c55b489d8ceaa8d819db775a.png
[20210112110748715.png]: /images/20221119/8c63e7db28b044e6937696e5226a0001.png
[2021011211100085.png]: /images/20221119/fca08db1f281469d8f54a250532457bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 4]: /images/20221119/a5a56db44a294c528f2d9858ecf48eaf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 5]: /images/20221119/676b32fec84243d584b3e0305d2fe6f4.png
[20210106201700860.png]: /images/20221119/afb3e4337a104d72af9de7138f4c6971.png
[20210106205236581.png]: /images/20221119/311f428af4fa45dabe42cc36f5acefcd.png
[20210106205323499.png]: /images/20221119/ff206ee9dcbd4c4f8933cbcd3a55de89.png
[20210106205401469.png]: /images/20221119/61a96f62290d417abcbd474b82dbeaad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 6]: /images/20221119/eef9210e778540318ea169c3fca9aa94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 7]: /images/20221119/8b20396e9bbd4a3e8a98ae5eee7889fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 8]: /images/20221119/b5316c87d6a94ef7a29fb7a85763df6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MjA1Mjcz_size_16_color_FFFFFF_t_70 9]: /images/20221119/ffc30d9c217b4d98b0cf35fd18832cba.png