人脸表情识别方法综述

发布时间：2022-03-31 15:13:13 浏览数：次

    摘要：人脸表情作为一种人机交互的方式，成为研究的热点。基于对人脸表情识别的基本分析，文章重点探讨了人脸表情特征提取和分类并在此基础上，提出了研究热点。

    关键词：人脸表情识别；特征提取；表情分类

    人脸表情含有丰富的人体行为信息，是情感最主要的载体，是智能的体现，对它的研究可以进一步了解人类对应的心理状态。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。人脸表情识别主要分成3个步骤：预处理，人脸表情特征提取，人脸表情分类。其中预处理部分主要是通过人脸检测或人脸跟踪以定位人脸。人脸的准确定位是人脸表情识别的前提。

    一、人脸表情特征提取的方法

    表情特征提取是人脸表情识别中的重要步骤，有效的表情特征提取工作将使其后的分类性能大大提高。人脸特征提取是指原始特征提取的数量很大，或者说图像样本是处于一个高维空间中，通过映射（或变换）的方法可以用低维空间来表示样本的过程。映射后的特征是原始特征的某种组合，特征提取在广义上是指一种变换。人脸表情的特征提取需要完成3个任务：首先需要获取表情的原始特征、外貌特征和序列特征，由于原始特征一般都存在着信息冗余、维数过高和区分性不够等问题，因此为了能够更有效地表征人脸表情的本质，需要对原始特征数据进行一些后处理，主要是特征降维和抽取，以降低特征的维数；其次需要对特征进行分解，去除对表情识别有干扰的因素，得到对分类更为有利的特征数据。人脸表情的提取根据图像性质的不同可分为静态图像特征提取和视频图像特征提取。静态图像中提取的是表情的形变特征，而视频图像特征是运动特征。前者提取的对象是表情模型，而后者是提取的是面部的动态变化。表情特征提取结果应该具备如下条件：能全面完整地表示出人脸表情的本质特征；尽可能去除噪声和光照的影响及其他与表情无关的干扰信息；数据表示形式紧凑、维数较低，有利于减少进一步加工的复杂度；不同类别表情的特征之间具有较好的区分性。

    （一）静态图像特征提取

    常用的静态图像特征提取常用方法有：主成份分析法PCA（Principle Component Analysis）、Gabor小波法、基于模型的方法等。

    1、主成分分析法。主成份分析基于K-L正交变换，是一种无监督的线性特征提取方法。它的优点是最大化的保留了原始数据的差异，缺点是当样本类间离散度增大的同时，样本类内离散度也在增大。主成份分析现已成功用于人脸识别和表情识别。但是由于主成份分析只考虑到图像数据当中的两阶统计信息，并未利用高阶统计信息，而基于独立分量分析ICA（Independent Component Analysis）方法是基于信号的高阶统计特性的分析方法，经ICA分解出的各个信号分量是相互独立的。除了ICA，在PCA方法基础上改进的算法还有：基于模板的PCA法将人脸图像分割为小的子图像，对每一个子图像做PCA，识别效果比传统的PCA好。

    2、Gabor小波法。Gabor小波滤波器是一个由二维高斯函数衍生出的复数域正旋曲线函数，相当于一组带通滤波器，其方向、基频带宽及中心频率均可以调节，不同参数的Gabor滤波器能够捕捉图像中对应于不同的空间频率、空间位置以及方向信息，这些使得其对于亮度和人脸姿态的变化不敏感。叶敬福提出了基于Gabor小波的弹性图匹配识别，有效地提取了与表情变化有关的特征向量且能屏蔽光照变化及个人特征差异的影响，做到与人无关的表情特征提取，其效果明显优于基于PCA方法。以小波变换后的低频信息作为研究对象，只提取低频信息，不仅减小了计算量、在一定程度上驱除了噪声的影响，而且抓住了表情变化的主要特征。PCA和Gabor小波都起着给数据降维的作用。PCA是通过将分散在一组变量上的信息集中到某几个综合指标上来降维，而Gabor小波则是通过把原始图像经过变换，减少子图像的尺寸来降维。

    3、基于模型的方法。基于模型的方法有：点分布模型PDM（Point Distribution Model）和活动外观模型AAM（Active Appearance Models）等。PDM是一种参数化的形状描述模型，它用一组离散的控制点来描述对象的形状，并用PCA方法建立起各个控制点的运动模型，对控制点的基准位置和移动模式作了约束，从而保证模型的整体形变始终在可接受的范围之内。此方法在模型中引入了与目标特征有关的信息，从而降低了对噪声和形变的影响，不过运算量较大。AAM也是一种基于模型的方法，它建立了一种对目标对象变化程度的参数化描述。这种方法首先从训练集中通过手工标定一组点构成形状信息，然后通过灰度插值法得到灰度信息，综合这两种信息并用主成份分析法去除冗余信息得到从M基向量；应用时，对实际图像进行形状定位与灰度信息获取，然后计算这些信息在各个从M基向量上的投影，调整模型参数使得通过从M模型合成图像与真实图像间的差异达到最小，并以满足这个条件时的模型参数构建表情特征向量。

    （二）视频图像特征提取

    视频图像特征提取的常用方法有：光流法、特征点跟踪法和差分图像法。

    1、光流法是指亮度模式引起的表观运动，反映了帧间运动的实际情况。光流是运动特征提取法中的一种，基于光流的算法包括：基于梯度的光流计算法，基于区域匹配的光流计算方法，基于频率域的方法。光流场在运动估计、运动分割、物体结构的恢复等领域得到了广泛的应用，也是人脸表情特征提取的一种非常有效的算法。余棉水等利用光流技术对人脸表情图像序列中的特征点进行跟踪，并提取特征向量。用光流特征作为特征向量，对光照均匀程度鲁棒性较强的情况，只要光照在同一组序列中强度不变，提取的特征就是稳定的，解决了图像处理比较敏感的问题。光流法的缺点是：光照不均匀和脸部非刚体运动等因素会影响特征提取结果，且计算量比较大、不太适合实时处理。

    2、特征点跟踪法是指利用灰度变化较大的眼角点、嘴角点等进行跟踪，并进一步得到脸部特征的位移或形变信息。选择脸部显著特征点来进行运动估计，特征点一般都选取在脸部的永久特征上。这种方法只考虑用感兴趣的特征点来分析表情，而不必理会背景等无关信息，减少了运算量，但由于只提取了部分特征点，而忽略了其他的脸部活动，可能会丢失有用信息。此外，自动标记特征点很难，基本都是人工标记，且需要较复杂的计算。

    3、差分图像法是指将视频序列中相邻的两帧作差分运算，即将对应像素相减，等于零的点代表“不变”区域，而非零点代表“变化”区域。当用于表情分析时，通常对被测帧（含有表情的人脸图像）与标准帧（相同背景下中性表情的人脸图像）进行差分运算，来检测图像序列中处于极大状态时表情对应的关键帧，因为此时的表情信息最为丰富。在后继的表情识别研究中只需要对检测出的关键帧进行分析，而不必分析其他所有帧，节约了大量的计算时间。

    二、人脸表情分类的方法

    （一）基于模板的匹配方法

    为每一个要识别的表情建立一个模板，将待测表情与每种表情模板进行匹配，匹配度越高，则待测表情与某种表情越相似。对6种典型的基本人脸表情可以建立相应的模板，但对于识别非典型脸部表情比如混合表情时较困难，很难用有限的模板来代表无限多的人脸表情的情况。

    （二）基于神经网络的方法

    神经网络方法的研究具有悠久的历史，它很适合于解决非线性问题。网络的输出节点对应于6种基本表情和中性表情。使用反向传播算法训练人工神经网络，输入层的神经元对应从输入脸部图像中提取的亮度分布数据，输出神经元对应6种基本表情类别。但是，如果对自然表情类型而不是6种基本表情分类，那么神经网络方法的训练过程的工作量会非常大。另外，神经网络除了可以当作分类器外还可以作为特征提取器。

    （三）基于概率模型的方法

    估计表情图像的参数分布模型，分别计算被测表情属于每个类的概率，取最大概率的类别为识别结果。如Bays决策，HMM等。隐马尔可夫模型是一个统计模型，具有十分健壮的数学结构，适用于动态过程时间序列建模并具有强大的时序模式分类能力，理论上可以处理任意长度的时序。

    （四）基于支持向量机的方法

    支持向量机SVM（Support Vector Machines）是一种两类分类器，其基本思想是将训练样本经非线性变换映射到另一高维空间中，在变换后的高维空间内寻找一最优的分界面，在类间空隙最大的情况下将样本无错误或接近无错误分开。由于表情识别一般是多类别的分类问题，因此需要将SVM方法扩展到多类别的情形，主要有两种策略，一种是将多类别问题分解成一系列二类别问题来求解；另外一种是将包含一类不同样本的多类别问题分解成一个二类别问题，每次任选C类样本作为二类别问题的一类，剩下的C-1类样本作为另一类。

    三、人脸表情识别有待解决的问题

    在特征提取过程中，为了提高算法的精确度，最大限度地有机利用信息来进行特征提取，经常将多个算法合并使用而增加了算法复杂度。目前的表情特征提取法的趋势是融合各种方法特征。精确匹配的算法往往复杂度很高，很多算法要求手工定位特征点，使得系统的自动化程度不高，影响了它们在实际领域应用。表情特征提取阶段在特征自动精确匹配以及提高算法速度方面仍需要完善。提取面部表情时要尽量分离头部的刚性运动和脸部的柔性运动，为解决这个问题可引入三维表情信息，三维图像较二维图像更能提供完整而真实的内容，且减少了光照和姿态变化的影响，但是，如何有效利用三维信息进行表情识别将是一个具有挑战性的研究课题。人脸表情信息的复杂性很高，各种特征提取方法都有不同的适应环境和各自的优缺点，单纯地使用一种特征提取方法精确提取表情信息是不现实的，因此利用数据融合理论，把各种方法综合使用、扬长避短，以达到较好的提取效果，是以后研究的必然趋势。因此，目前人脸特征提取方法未来的研究方向：三维表情识别研究是；采用混合模型的特征提取；多种特征提取方法融合的方法。

    参考文献：

    1、朱健翔,苏光大,李迎春.结合Gabor特征与Adaboost的人脸表情识别[J].光电子·激光,2006(8).
    2、章品正,王征,赵宏玉.面部表情特征抽取的研究进展[J].计算机工程与应用,2006(9).
    3、余棉水,黎绍发.基于光流的动态人脸表情识别[J].微电子学与计算机,2005(7).
    （作者单位:华南师范大学南海校区计算机系）

相关热词搜索：综述识别表情方法