人脸表情是由人脸肌肉的运动所形成的一种动作,是情感变化在面部的可观察到的表现。面部表情的变化有许多功能,它能显示人的心理活动、能调整人的社会行为、能表明疼痛感觉。面部表情的自动分析与识别在社会心理学及各种相关学科中都很有价值。由于人脸的非刚体性质以及人与人之间的个性、种族等方面的差别,人脸表情的自动分析与识别具有相当的难度。根据国际和国内的相关研究,本文对人脸表情自动分析与识别的相关问题进行了探讨。本文的研究包括了人脸表情静态图像的表情基本类别识别,以及动态人脸表情图像序列的表情运动单元识别,也就是表情的自动分析。主要的研究内容包括以下几个方面: 1)活动外观模型(Active Appearance Model, AAM)方法用于人脸表情识别中特征点提取时,训练集图像特征点手工标记工作费时而且繁琐,对此本文提出并实现了人脸特征点的半自动辅助标记方法。该方法根据面部各个主要器官的具体特征(如眼角与嘴角的角点特征、眼睛和嘴巴的边缘特征、眉毛的边缘特征)提出了相应的半自动定位方法,从而提高了特征点标记工作的效率。2)文中研究了AAM表情特征对表情变化的表达能力,并根据AAM表情特征构造了人脸表情的静态图像的识别系统。本文对AAM方法提取的表情特征进行了秩相关分析与非度量多维标度分析,用多变量统计学方法说明AAM表情特征能很好的表达表情的相似与相异,并通过人工神经网络分类器实现了人脸混合表情的识别。3)针对人脸表情分析,也就是基于面部运动编码系统(Facial Action Coding System, FACS)的表情活动单元(Action Unit, AU)的识别问题,本文提取了动态表情图像序列的三种表情特征:几何特征与暂时性特征、差图像特征及差图像的Gabor变换独立元分析(Independent Component Analysis, ICA)特征。并且尽量使三类特征具有较小的相关性,从而使其具有一定的互补性。4)针对差图像特征在AU识别方面的数据冗余与维数过大的情况,本文进行了特征选择,并对基于Margin的特征选择算法进行了改进。本文用共轭梯度算法对Margin目标函数进行优化使目标函数在接近目标点时也能较快的收敛,并用差分进化(Difference Evolution, DE)方法选定优化初始点使优化结果更加稳定。最后采用不同的分类器对不同的特征进行识别,形成组合分类器。并且实验结果表明多特征的组合分类器的识别结果优于单一特征分类结果。