基于深度学习的人脸表情识别（天津大学硕士学位论文）-蒲公英云

《基于深度学习的人脸表情识别》吕亚丹（天津大学硕士学位论文）

这里写图片描述

基本思路：利用人脸解析器提取在表情识别中起关键作用的器官进行识别表情识别。

依据：人脸不同部位包含的表情信息量不同；

优势：避免对不同人脸形状进行的加权函数和加权特征区域的调整。

采用算法：

Created with Raphaël 2.1.0开始贪婪图像缩放算法进行图像预处理提取HOG特征进行人脸解析提取解析的器官的Gabor特征进行表情识别结束

说明：解析器由 深度置信网 训练，用 逻辑回归 进行微调。

方法优势：

意义：心理学研究表明，在语言和表情表达的信息不一致时，表情传达的信息更准确。表情是人类进行情感交流的重要方式。人类情绪主要通过面部表情传达，识别人类表情能够使人类与机器的交流更有效。

难点：

应用场合：情感机器人、高效人机交互、病人监护、远程教育等

国内：

国外：
应用场景：

人脸表情识别流程

人脸检测算法分类：

基于肤色的检测方法
基于高斯模型、基于混合高斯模型、基于直方图模型，
实验表明，混合高斯模型比高斯模型好。
基于统计模型的方法
人工神经网络：采用多个神经网络进行不同角度人脸检测。
基于概率模型：通过估计人脸图像和非人脸图像的条件概率来检测人脸。
支持向量机：采用支持向量机的超平面进行人脸和非人脸的判断。
基于启发式模型的检测方法
变形模型：采用变形模板与头顶轮廓线和左右两条脸轮廓线相匹配。
镶嵌图：将人脸区域划分为多个马赛克块，利用一组规则及边缘特征进行验证。

对表情图像进行标准化操作：

基于静态图像的方法：

依据：面部不同区域携带的表情信息不同，人脸图像被划分为不同的子区域，然后对各类表情子区域分别利用 特征脸方法 求 特征子空间，将表情子图像投影到各个表情子空间上进行识别，计算该图像在表情子空间的投影与该表情子空间的相似性来进行识别。
根据图像中人脸的 几何结构信息 和每幅图像的 空间信息 进行特征提取。
适用于表情的实时检测。

基于动态图像序列的方法：
首先计算特征区域的 特征流和速度场，再利用 DGMM(Dynamic Gaussian Mixture Model)和 HMM(Hidden Markov Model)进行人脸面部表情的识别。

人脸特征分类：

几何特征和纹理特征。
人脸的纹理特征是在整个人脸图像中提取能够反映人脸整体特点的特征。
基于几何特征的方法用有限的特征点代替人脸整体图像信息，忽略了一些部位的特征信息，因此一些对表情识别起重要作用的信息可能会丢失。
基于纹理的特征比较完整的保留了人脸面部信息，丢失的数据较少，但是其缺点是容易受环境的影响，且输入数据的维数相对比较高，计算量较大。
共性特征和个性特征。
对数据库中归一化的人脸图像求平均，得到的平均人脸即人脸共性特征。
局部特征和整体特征。
图像局部特征可以是局部结构也可以是局部器官轮廓以及灰度分布，一般具有较好分类特性；
整体特征一般是将整个人脸图像通过降维如 PCA 降维提取图像矩阵的特征，获得图像的整体特征。
暂态特征和永久特征。
人脸的暂态特征指人脸中性脸与非中性脸做差所得的特征。
永久特征指人脸处于中性表情时的几何特征和纹理特征等。
在表情识别时，起关键作用的暂态特征，故需要从永久特征中分离暂态特征，再分析暂态特征并进行表情分类。

基于模板的方法：
首先为每个基本表情都建立一个模板，将待测表情和表情模板分别计算相似度，相似度最高所对应的表情模板就是识别的表情分类结果。
特点：思想简单，识别率较低。并且识别非典型表情（即分类之初没有考虑到的表情）有困难。
基于神经网络的方法：
目前表情识别常用神经网络结构：主要有 BP 神经网络、多层感知器、 RBF 网等。
输出层的输出结点与七种基本表情一一对应。
这些方法适合解决非线性分类问题。
神经网络也可以进行特征提取。
基于支持向量机的方法：
基于概率模型的方法：
首先建立人脸表情图像的参数分布模型，对于测试集中的每个图像分别计算该图像属于每个类的概率，计算的最大概率所对应的类别为最后的分类结果。
Bays 决策和 HMM 属于基于概率模型的方法。
K-means聚类：是一种无监督的分类方法。目标函数多峰且非线性，算法容易陷入局部最优解，要得到好的结果需要有较好的初始化参数。