人脸识别笔记（1）

刺骨的言语ヽ痛彻心扉 2022-06-01 02:18 230阅读 0赞

最早期的人脸识别方法包括寻找**区分性图像特征**的位置，如眼睛、鼻子和嘴，并测量这些特征位置之间的距离（1973；1977；1991）；

近期的方法依赖于比较灰度图像在被称为“**特征脸**（1990）”的低维空间的投影并利用活动表观模型对形状和表观变化（而忽略姿态变化）进行联合建模。

**狭义人脸识别**指的是：首先采用人脸检测和特征定位对所有人脸进行对齐，然后裁剪出眉眼鼻嘴形成的核心人脸区域，之后从中提取人脸特征进行存储或与已知人脸的特征进行相似度计算的过程。

里面的**核心**是“**如何提取具有区分能力的特征**”，2012年以来，采用深度卷积神经网络进行特征学习已经成为人脸识别领域的标准技术。

目前这方面主要的进步还是来自更大规模实战数据。对于一些难以获取大量数据的场景，研究人员也在想法设法采用半自动或自动的方法“增广”数据集，包括**基于三维人脸模型合成人脸**或者**采用GAN这类方法生成数据**，这里的3D人脸模型既可能是采用专用设备采集的，也可能是采用3D MM等方法自动重建的。值得注意的是，尽管GAN很火热，也能合成出一些视觉效果不错的人脸图像，但其合成的增广人脸数据是否能够用来增广特定人的数据并提高特征学习的效果，目前尚不得而知。此外，面向移动终端和嵌入式应用等实际应用需求，也有大量工作是进行模型压缩和计算加速的。

人脸识别有很多应用场景，不同场景的成熟度差异很大。

1. 第一种场景，**1:1 的人证合一验证系统**。  
典型的应用是：刷身份证读取卡内照片，将其与现场采集的用户人脸去做比对，看是否身份证的合法持有人。这个任务在三四年前大多数人脸识别专家还认为几乎是不可能完成的任务，但就在最近一两年，通过上万甚至几十万人此类应用数据的训练，在被识别人配合的情况下，最好的系统已经可以在0.01%的误识率时达到95%以上的正确验证率。也就是说，一万个人来冒充某个人A，只有一个可以冒充成功，而A本人在95%的情况下可以被正确识别出来。如果允许误识率更高一些，比如到0.1%，识别率甚至可以进一步提高到99%以上（对配合用户）。这种场景还是1:1验证中最有挑战性的：因为身份证卡内照片只有102\*126像素，而且被压缩成了1K字节存储在身份证内，而且其中人脸已经有多年的老化。

2. 第二种场景，**1:N静态照片比对系统**。  
典型应用场景是公安人员对不明身份嫌疑人照片进行公安大库照片比对，以确定其身份。这种应用甚至在几年前就已经基本成熟，当N为千万甚至数亿量级条件下，首选识别率可以做到90%或更高，需要注意的是，区别于后面要提到的1:N+1场景，这类1:N场景不需要设置拒识率。这方面，我们的人脸识别技术在几年前就已经被合作伙伴上海银晨科技产业化，应用于护照人脸和多个省公安厅的大库比对中，并取得了相当多的实战成功案例。就在最近，学术界也出现了大规模人脸识别测试库MegaFace，其中人脸数量达到了100万规模，MegaFace主要是生活照或新闻照，所以难度要更大一些。

3. 第三种场景是**1:N+1动态人脸识别场景**。  
区别于前面的1:N场景，这类场景是需要拒识非目标人的，所以是N+1。这种场景实际上还可以细分为三类：目标人配合场景（比如无卡考勤或门禁），目标人不配合场景（比如黑名单卡口人脸布控），以及处于二者之间的、被识别人既不配合也不刻意回避的场景（比如VIP识别系统）。不妨分别称之为A场景，C场景和B场景。

这三类场景的技术成熟度差别很大：在N等于10000人、误识率不高于1%时，A场景识别率可以做到98%以上，B场景可以做到70%~90%，C场景恐怕只能做到80%以下，某些条件下甚至可能低的不忍直视。需要特别强调的是，这里误识率1%看起来有点高，但在N等于1万人时，大概相当于1:1场景下的百万分之一的误识率，实际上已经非常有挑战了。

近年来人脸识别的进步是有目共睹的，但人脸识别远不是一个已经解决了的问题，它还存在如下一些问题：  
1. 在开放环境下，如何确保识别的**鲁棒性**的问题  
例如，即使目前最好的系统，恐怕也还做不到在家庭环境下，让一个矮小的机器人随时随地准确地识别出一个家庭的5-6个成员，这涉及到**视角、光照、距离、遮挡**等等诸多因素带来的鲁棒性问题。  
2. 人脸防骗技术  
这是一场魔高一尺、道高一丈的博弈“游戏”，风险确实是存在的，尽管可能并没有央视报道的那么夸张。  
3. 黑名单动态布控系统  
对于人脸识别最大的实战应用场景，即黑名单动态布控系统，也就是前面所说的3C场景，目前N等于1万人，错误接收率等于1%，条件较好的时候首选识别率可以做到80%左右。但实际需求是在开放监控场景下，N等于100万人，误识率要求低于0.01%，甚至要对各种试图逃避识别的目标人达到首选识别率90%以上——这是极具挑战的任务，难度比现在能做到的要高4~5个数量级。是否能在两三年内做到我个人持谨慎的怀疑态度，这个过程中工业界需要保持冷静，避免因过度承诺而失去用户信任，带来人脸识别应用的“倒春寒”。

**简单总结一下：**  
  
1. 学术界的挑战  
从学术界来讲，人脸识别研究已经进入了一个“无所适从”的历史阶段，我们希望不要把我们自己从码农变成数工，但事实上新方法能带来的增益短期内难以抗衡工业界用大数据带来的性能增益，甚至导致了工业界技术上的“领先”，这一点大家去看LFW和FDDB之类竞赛的结果就可以明显地看出这个趋势。  
  
2. 学术界的机会  
而因为商业原因，学术界对工业界的实际进展难以把控。当然，学术界的机会恰恰在工业界不愿意关注的地方，比如在数据少甚至没有标注数据的情况下，如何可以仍然有效的学习模型？在有数据但数据脏乱差的情况下如何鲁棒的训练模型？  
  
总之，**人脸识别作为计算机视觉领域最落地的技术之一**，是CV技术应用的排头兵，确实已经引爆了众多用户对计算机视觉应用的浓厚兴趣，这或许是更值得我们欣喜的。