单模态情感识别由于受到单一模态情感特征的限制,识别率并没有得到较大的提高。近年来,多模态情感识别突破了这一限制,在情感识别过程中,引入了多种模态的情感特征进行融合,从而在识别率上有了较大的提高。目前,多模态情感识别的方法和思路主要有判决层融合与特征层融合。本文采用特征层融合的方式,提取人脸表情特征和语音情感特征,然后根据两种模态情感特征的特点,进行特征优化处理,最后设计分类器进行情感的分类。本文选择本课题组自建的情感数据库作为课题研究的数据,该数据库包含语音、表情和脑电三种模态的情感数据,情感类别有7种,即生气、厌恶、害怕、高兴、中性、悲伤和惊奇。本文的主要研究工作有：(1)语音情感特征提取,本文采用不同的语音特征提取方法(14维特征和74维特征),提取包括短时能量、基音频率、第一共振峰、美尔频率倒谱系数(MFCC)和语音持续时间等特征类别,同时计算了这些特征类别相关的统计参数,并以这些特征作为语音情感特征数据用于情感识别。(2)人脸表情特征提取,本文提出了改进的局部二值模式(LBP)表情特征提取算法主要提取人脸的眼睛和嘴巴两个部位的纹理特征。该算法的目的在于保证表情识别率,同时尽可能地降低特征数据的维数,减少计算量。(3)语音与表情特征的融合,本文根据语音和表情的情感特征,提出了语音与表情特征的直接融合算法和语音与表情特征的融合优化算法。语音与表情特征的直接融合算法主要解决两种模态特征维数上差异；语音与表情特征的融合优化算法考虑两种模态特征的联系与差异,提出先融合,后利用主成分分析(PCA)方法进行降维优化处理,再进行情感分类。(4)双模态情感识别,本文采用支持向量机(SVM)算法进行情感识别的仿真实验。该算法对小样本、非线性分类问题具有很强的分类能力。在SVM参数优化问题中,本文提出了改进的网格搜索参数优化算法,该算法基本思想是先通过基本的网格搜索算法进行粗搜,确定参数的范围,然后再在此范围内进行精搜,找到最优识别率的参数组合。仿真实验验证了上述算法的有效性。