人脸表情识别（FER）技术旨在通过计算机视觉等方法,对人脸进行自动分析,进而快速且精准地推测出人们的内心情感,在人机交互、安全监控、行为分析等领域具有广泛应用。当前的FER研究大多基于单一模态彩色图像数据,其核心为通过利用关键点标签对表情区域进行定位和特征提取,以增强表情判别特征。然而,这种方法需要大量人工参与,且无法自适应定位判别区域,难以应用于实际场景。近年来,人们也利用与其互补的深度信息来估计单视角表情的多视角投影,以此放大微弱的面部肌肉运动增强特征。然而,多视角几何增强方法的本质是将高维信号在多个低维空间上进行解耦表示,无法达到信息增强的目的,且引入额外的特征干扰,降低了学习效率。同时,这些问题也存在于多模态表情视频中,降低了运动特征的相关性,引入了大量的决策级不确定因素。因此,本文针对多模态FER技术中的判别区域特征增强等关键问题进行研究,并提出以下创新方法。第一,基于表情数据“类间距离小,类内距离大”的分布特性,本文对FER任务进行细粒度分类建模,并提出一种基于面部注意力机制的2D表情判别区域定位方法,用以自适应定位2D表情判别区域,增强判别区域的特征表达。在提出的方法中,本文结合通道注意力机制和空间注意力机制来增强表情特征图,并生成注意力图,并基于此计算表情显著性区域,以增强局部判别特征,提高识别准确率。提出的方法不依赖任何人脸关键点标签,可以在弱监督的情况下完成表情判别区域的定位。第二,针对3D深度数据特征表达微弱问题,本文提出一种基于全局最大熵的3D人脸表情增强方法,来增强深度数据的几何判别特征。提出的方法以最大化增强后图像的信息熵为目标函数,包含三个步骤,分别为:1)深度选择,2)基于深度失真约束的全局最优最大熵映射以及3)图收集。本文将以上优化求解过程建模为有向无环图中的最大权重路径问题,并设计动态规划进行高效求解。第三,基于判别区域定位与最大熵深度数据增强,本文提出一种2D+3D多模态表情识别方法。该方法包含三个模块:1)2D/3D面部注意力模块,2)多模态判别区域增强模块以及3)融合预测模块。方法首先对3D深度数据进行特征增强,提升深度数据的特征表达,然后利用拓展的面部注意力机制定位多模态判别区域,并提取局部判别特征。最后,我们对局部特征和全局特征进行多尺度融合,得到紧凑的多模态多尺度判别特征,并用于最终的表情分类。第四,对于多模态视频（即4D）表情数据,本文提出一种基于运动特征恢复的光流估计方法用于高效建模序列间的运动相关性,并基于此设计了基于光流估计的多模态表情识别算法。提出的光流估计算法受字典学习技术的启发,将历史运动特征作为原子,通过自适应学习重构系数对当前帧中的无效运动特征进行估计,进而降低运动光流误差。相对于传统算子,提出的4DFER方法可以有效提取表情序列中的时空判别特征,并超越现有技术性能指标。本文围绕多模态人脸表情识别技术中判别特征增强等关键问题进行了深入研究。表情基准库上的大量实验表示,提出的算法可以超越现有多模态人脸表情识别方法,取得SOTA识别结果,验证了提出方法的有效性。同时,大量可视化实验验证了算法的语义可解释性。此外,在非人脸数据集上的实验结果进一步证明了提出的方法具有良好的泛化性和普适性。