openCV学习笔记（十三） —— 人脸识别算法（2/3）—— 线性判别分析Fisherface（LDA）

旧城等待， 2021-09-27 05:58 438阅读 0赞

Fisherface是由Ronald Fisher发明的，想必这就是Fisherface名字由来。**Fisherface所基于的LDA（Linear Discriminant Analysis，线性判别分析）理论和[特征脸][Link 1]里用到的[PCA][]有相似之处，都是对原有数据进行整体降维映射到低维空间的方法**，LDA和PCA都是从数据整体入手而不同于LBP提取局部纹理特征。如果阅读本文有难度，可以考虑自学斯坦福公开课机器学习或者补充线代等数学知识。

同时作者要感谢cnblogs上的大牛JerryLead，本篇博文基本摘自他的线性判别分析（Linear Discriminant Analysis）\[1\]。

**1、数据集是二类情况**

通常情况下，待匹配人脸要和人脸库内的多张人脸匹配，所以这是一个多分类的情况。出于简单考虑，可以先介绍二类的情况然后拓展到多类。假设有二维平面上的两个点集x（x是包含横纵坐标的二维向量），它们的分布如下图（1）（分别以蓝点和红点表示数据）：

![20140410201232078][]

原有数据是散布在平面上的二维数据，如果想用一维的量（比如到圆点的距离）来合理的表示而且区分开这些数据，该怎么办呢？一种有效的方法是找到一个合适的向量w（和数据相同维数），将数据投影到w上（会得到一个标量，直观的理解就是投影点到坐标原点的距离），根据投影点来表示和区分原有数据。以数学公式给出投影点到到原点的距离：y=wTx。图（1）给出了两种w方案，w以从原点出发的直线来表示，直线上的点是原数据的投影点。直观判断右侧的w更好些，其上的投影点能够合理的区分原有的两个数据集。但是计算机不知道这些，所以必须要有确定的方法来计算这个w。

首先计算每类数据的均值（中心点）：

![20140410202938703][]

这里的i是数据的分类个数，Ni代表某个分类下的数据点数，比如u1代表红点的中心，u2代表蓝点的中心。

数据点投影到w上的中心为：

![20140410205707187][]

如何判断向量w最佳呢，可以从两方面考虑：1、不同的分类得到的投影点要尽量分开；2、同一个分类投影后得到的点要尽量聚合。从这两方面考虑，可以定义如下公式：

![20140410210456125][]

J(w)代表不同分类投影中心的距离，它的值越大越好。

![20140410211148265][]

上式称之为散列值（scatter matrixs），代表同一个分类投影后的散列值，也就是投影点的聚合度，它的值越小代表投影点越聚合。

结合两个公式，第一个公式做分子另一个做分母：

![20140410211451859][]

上式是w的函数，值越大w降维性能越好，所以下面的问题就是求解使上式取最大值的w。

把散列函数展开：

![20140410212047781][]

可以发现除w和w^T外，剩余部分可以定义为：

![20140410212527375][]

其实这就是原数据的散列矩阵了，对不对。对于固定的数据集来说，它的散列矩阵也是确定的。

另外定义：

![20140410213311203][]

Sw称为Within-class scatter matrix。

回到![20140410213653453][]并用上面的两个定义做替换，得到：

![20140410213751562][]

![20140410213805453][]

展开J(w)的分子并定义SB，SB称为Between-class scatter。

![20140410214054796][]

这样就得到了J(w)的最终表示：

![20140410214135703][]

上式求极大值可以利用[拉格朗日乘数法][Link 2]，不过需要限定一下分母的值，否则分子分母都变，怎么确定最好的w呢。可以令![20140410215135906][]，利用拉格朗日乘数法得到：

![20140410215341875][]

其中w是矩阵，所以求导时可以把![20140410215532562][]当做![20140410215543187][]。（这点我也不懂）

上式两边同乘以![20140410215657000][]可以得到：

![20140410215407703][]

可以发现w其实就是矩阵![20140410215826343][]的特征向量了对不对。

通过上式求解w还是有些困难的，而且w会有多个解，考虑下式：

![20140411135525500][]

将其带入下式：

![20140411135544734][]

其中λw是以w为变量的数值，因为(u1-u2)^T和w是相同维数的，前者是行向量后者列向量。继续带入以前的公式：

![20140411135754703][]

由于w扩大缩小任何倍不影响结果，所以可以约去两遍的未知常数λ和λw（存疑）：

![20140411140309015][]

到这里，w就能够比较简单的求解了。

**2、数据集是多类的情况**

这部分是本博文的核心。假设有C个人的人脸图像，每个人可以有多张图像，所以按人来分，可以将图像分为C类，这节就是要解决如何判别这C个类的问题。判别之前需要先处理下图像，将每张图像按照逐行逐列的形式获取像素组成一个向量，和第一节类似设该向量为x，设向量维数为n，设x为列向量（n行1列）。

和第一节简单的二维数据分类不同，这里的n有可能成千上万，比如100x100的图像得到的向量为10000维，所以第一节里将x投影到一个向量的方法可能不适用了，比如下图：

![20140411185100015][]

图（2）

平面内找不到一个合适的向量，能够将所有的数据投影到这个向量而且不同类间合理的分开。所以我们需要增加投影向量w的个数（当然每个向量维数和数据是相同的，不然怎么投影呢），设w为：

![20140411185708687][]

w1、w2等是n维的列向量，所以w是个n行k列的矩阵，这里的k其实可以按照需要随意选取，只要能合理表征原数据就好。x在w上的投影可以表示为：

![20140411185906140][]

所以这里的y是k维的列向量。

像上一节一样，我们将从投影后的类间散列度和类内散列度来考虑最优的w，考虑图（2）中二维数据分为三个类别的情况。与第一节类似，μi依然代表类别i的中心，而Sw定义如下：

![20140411191151734][]

其中：

![20140411191205687][]

代表类别i的类内散列度，它是一个nxn的矩阵。

所有x的中心μ定义为：

![20140411191723265][]

类间散列度定义和上一节有较大不同：

![20140411191553781][]

代表的是每个类别到μ距离的加和，注意Ni代表类别i内x的个数，也就是某个人的人脸图像个数。

上面的讨论都是投影之间的各种数据，而J(w)的计算实际是依靠投影之后数据分布的，所以有：

![20140411192234546][]

![20140411192240843][]

![20140411192251421][]

![20140411192255687][]

分别代表投影后的类别i的中心，所有数据的中心，类内散列矩阵，类间散列矩阵。与上节类似J(w)可以定义为：

![20140411192643750][]

![20140411192702906][]

回想我们上节的公式J(w)，分子是两类中心距，分母是每个类自己的散列度。现在投影方向是多维了（好几条直线），分子需要做一些改变，我们不是求两两样本中心距之和（这个对描述类别间的分散程度没有用），而是求每类中心相对于全样本中心的散列度之和。得到：

![20140411220346421][]

最后化为：

![20140411220407687][]

还是求解矩阵的特征向量，然后根据需求取前k个特征值最大的特征向量。

另外还需注意：

由于SB中的（μi-μ）秩为1，所以SB的至多为C（矩阵的秩小于等于各个相加矩阵的和）。又因为知道了前C-1个μi后，最后一个μc可以用前面的μi来线性表示，因此SB的秩至多为C-1，所以矩阵的特征向量个数至多为C-1。因为C是数据集的类别，所以假设有N个人的照片，那么至多可以取到N-1个特征向量来表征原数据。（存疑）

如果你读过前面的一篇文章[PCA理论分析][PCA]，会知道PCA里求得的特征向量都是正交的，但是这里的![20140413104758781][]并不是对称的，所以求得的K个特征向量不一定正交，这是LDA和PCA最大的不同。

如前所述，如果在一个人脸集合上求得k个特征向量，还原为人脸图像的话就像下面这样：

![20140413105940671][]

得到了k个特征向量，如何匹配某人脸和数据库内人脸是否相似呢，方法是将这个人脸在k个特征向量上做投影，得到k维的列向量或者行向量，然后和已有的投影求得欧式距离，根据阈值来判断是否匹配。具体的方法在[人脸识别经典算法一：特征脸方法（Eigenface）][Link 1]里有，可前往查看。需要说明的是，LDA和PCA两种方法对光照都是比较敏感的，如果你用光照均匀的图像作为依据去判别非均匀的，那基本就惨了。

转载自：[https://blog.csdn.net/smartempire/article/details/23377385][https_blog.csdn.net_smartempire_article_details_23377385]

参考文献：

\[1\]Jerry Lead [线性判别分析（Linear Discriminant Analysis）（一）][Linear Discriminant Analysis]

\[2\]http://docs.opencv.org/modules/contrib/doc/facerec/facerec\_tutorial.html

[Link 1]: http://blog.csdn.net/smartempire/article/details/21406005
[PCA]: http://blog.csdn.net/smartempire/article/details/22938315
[20140410201232078]: /images/20210923/2923a664933a4657b18b9f0507430e31.png
[20140410202938703]: /images/20210923/ad7d08e722c541e2bce7323558e0bcbe.png
[20140410205707187]: /images/20210923/c6699169e29e4a778778f0615abc9281.png
[20140410210456125]: /images/20210923/b141354fd8db4cc2b556f1ee4c920d32.png
[20140410211148265]: /images/20210923/f38e5863c553457a9bdbedde10fb7d42.png
[20140410211451859]: /images/20210923/8fca1f5ea64c46a0ac5bf78537aff26a.png
[20140410212047781]: /images/20210923/7ce4a556cd5849ec8494b45b96c7a1f2.png
[20140410212527375]: /images/20210923/7811aad4db3343c3b800e14e5374beeb.png
[20140410213311203]: /images/20210923/f57d35ac3f1d47cea7ad5af9c8474cd3.png
[20140410213653453]: /images/20210923/c01cc74e5e2e4598b2bce89bd3dc59b4.png
[20140410213751562]: /images/20210923/91bc9c324d1d4dea80bad0ea6abff2f6.png
[20140410213805453]: /images/20210923/86a528cab9ea4413a236350c878ff082.png
[20140410214054796]: /images/20210923/e01ddb4673f64042ab5df873352f0197.png
[20140410214135703]: /images/20210923/a5abfa4f68424273839ffc30a5772eba.png
[Link 2]: http://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0
[20140410215135906]: /images/20210923/d3e3adb3e58b4e6bab5fb7d01ce023a4.png
[20140410215341875]: /images/20210923/e8173559fd5f4c81ad16fd8f69fa1701.png
[20140410215532562]: https://img-blog.csdn.net/20140410215532562
[20140410215543187]: /images/20210923/32fc64f4f68241c68de7d6b3627c984d.png
[20140410215657000]: /images/20210923/ebc0cacecfad4de5ad30e9d3aa56c8cc.png
[20140410215407703]: /images/20210923/ec9298e5dbf646b6b8d6fe47681b27ef.png
[20140410215826343]: /images/20210923/9026f0c8724e4b8bb03027c420c9ab2d.png
[20140411135525500]: /images/20210923/85552d1426c64e23bbfce6f80491336c.png
[20140411135544734]: /images/20210923/1816d8421cd5476fa274640e4751a4cc.png
[20140411135754703]: /images/20210923/e88452437dfa477b84d5132fb68eee8f.png
[20140411140309015]: /images/20210923/dacfccd94518467e9b61eb36ebd67c2e.png
[20140411185100015]: /images/20210923/111da29d0ba34acaa2fab544e0edd9b0.png
[20140411185708687]: /images/20210923/ba997db9b11b45a285ac19a31a520b09.png
[20140411185906140]: /images/20210923/5145f65cdffe48bcb06c7d9972d914b6.png
[20140411191151734]: /images/20210923/1b08c81796384b66b5ccf1e5fe303beb.png
[20140411191205687]: /images/20210923/1c7b63c436b64cb4852e1b3bf325675c.png
[20140411191723265]: /images/20210923/b7f293afbc62422c92d1320c61702c69.png
[20140411191553781]: /images/20210923/614f23a03d884f9199839bd9523b21ab.png
[20140411192234546]: /images/20210923/e98d20f860f74b0b869977a0bfde9832.png
[20140411192240843]: /images/20210923/f040c17c541b44488d61c13ca9a0f3ba.png
[20140411192251421]: /images/20210923/8c3b44df74494483a6e61f5f6a54db59.png
[20140411192255687]: /images/20210923/edd6c30ed86e495088f385ebcd77833c.png
[20140411192643750]: /images/20210923/8c794bfe983a44e89138a461678301cd.png
[20140411192702906]: /images/20210923/b14673d1a74241659335e0a1f3b5d195.png
[20140411220346421]: /images/20210923/ef24adfa239144b3926a7ee2f5caee03.png
[20140411220407687]: /images/20210923/9a8fc190a7ad49f3a1b65e7f82b7c447.png
[20140413104758781]: /images/20210923/73c4965891ae49cf969dec66ff0e6cb7.png
[20140413105940671]: /images/20210923/f7c0e2b5bc3f4895a7e607c5101355bf.png
[https_blog.csdn.net_smartempire_article_details_23377385]: https://blog.csdn.net/smartempire/article/details/23377385
[Linear Discriminant Analysis]: http://www.cnblogs.com/jerrylead/archive/2011/04/21/2024384.html