情感识别是多媒体信息处理、模式识别以及计算机视觉等领域的研究热点。随着深度学习、人工智能的发展,情感识别作为人机交互中的关键所在,受到研究人员的广泛关注。情感的表达方式多种多样,其中面部表情和语音是两种最为重要的情感载体,基于面部表情和语音的双模态情感识别研究具有重要的现实意义。本文主要针对面部表情和语音两种模态,研究用于分类的语音情感特征,以及机器学习和深度学习在语音情感识别方面的应用。主要工作如下:(1)为了提高传统语音情感识别中采用的情感特征识别性能,提出了一种基于变分模态分解(VMD)的语音情感识别方法。情感语音信号首先由VMD提取固有模态函数(IMF),然后对所选主导IMF进行重新聚合,再提取MEL倒谱系数(MFCC)和各IMF的hilbert边际谱。为了验证本文提出的特征性能,选用两种语音数据库(EMODB、RAVDESS)进行实验,按本文方法提取特征后使用极限学习机(ELM)进行语音情感分类识别,实验结果表明:相比基于EMD和EEMD的语音情感特征,本文提出的特征有更好的识别性能,验证了该方法的实用性。(2)在长短时记忆神经网络的基础上,提出了一种基于多层自注意力机制的双向长短时记忆神经网络的语音情感识别方法,完成情感的分类;语音信号作为一种时序序列,在时间上具有很强的相关性,为了利用语音序列前后之间的相关性,研究了一种基于双向长短时间记忆网络的语音情感识别方法;根据双向长短时间记忆网络和卷积神经网络的优点,提出了一种基于双向长短时间记忆网络和深散射谱特征的语音情感识别方法。(3)对情感识别最重要的两个模态语音和面部表情进行了双模态情感识别特征层融合的研究。首先采用面部截取和语音激活对数据集进行预处理,得到人脸情感加权图像,然后将人脸情感加权图像和语音语谱图信号作为分类网络的双模态信号输入,针对训练数据较大的问题,采用深度可分离卷积网络进行分类识别任务,在分类网络中加入SN正则化方法解决输入的两种数据差异较大的问题,并和传统的单模态情感识别进行了对比。实验结果表明,相较于基于语音语谱图的单模态情感识别,双模态情感识别在自制数据集上得到了6.2%的性能提升,验证了本章提出方法的有效性。