随着人们工作生活节奏加快和压力增大,抑郁症已成为一种流行性精神疾病,当前社会存在抑郁症高发和专业医护人员严重不足的矛盾。情感计算领域的研究人员试图结合人工智能、心理学、生理学和认知研究,从人的音视频信息和生理信号估计抑郁状态,为临床抑郁症诊断提供一定的辅助。本文围绕音视频情感特征提取方法和抑郁症识别模型两个方面,对抑郁症自动评估进行了研究,并在听视觉情感挑战赛（AVEC2013和AVEC2014）的抑郁症数据库上进行了实验验证,具体工作和创新点如下:1.针对现有手工设计特征维度高和特征聚集方法需要手工指定聚类个数的问题,提出了一种基于人脸动态序列描述子特征和狄利克雷过程高斯混合模型-费舍尔向量（Dirichlet Process Gaussian Mixture Model—Fisher Vector,DPFV）的抑郁症识别方法。首先基于中值鲁棒扩展的局部二值模式（Median Robust Extended Local Binary Pattern,MRELBP）特征,通过在面部视频序列上计算中心像素强度值和邻域像素强度值的动态纹理特征,提出了中值鲁棒扩展的局部二值模式-三维正交平面（Median Robust Extended Local Binary Pattern-Three Orthogonal Planes,MRELBP-TOP）动态描述子特征,以描述面部图像的局部和动态特征信息。然后在MRELBP-TOP帧级特征序列上,通过自适应确定聚类个数,采用DPFV进行视频子序列的全局特征提取,以挖掘MRELBP-TOP特征高层次的抑郁模式信息。最后采用带有交叉核的支持向量回归（Support Vector Machine for Regression,SVR）进行抑郁程度的估计。在AVEC2013和AVEC2014测试集上,抑郁程度估计值和真实值之间的均方根误差（Root Mean Square Error,RMSE）分别为9.20、9.01,优于当前绝大部分基于面部视频的抑郁症识别方法的性能。2.针对目前抑郁症识别方法没有有效地从序列信息中刻画长时特征表示的问题,提出了一种基于三维卷积神经网络（3D Convolutional Neural Network,3D-CNN）和时空注意力机制Conv LSTM（Spatial-Temporal Attention Based Conv LSTM,STAConv LSTM）的抑郁症识别方法。该方法采用3D-CNN和STA-Conv LSTM模块来学习长时的、具有注意力的高层语义依赖信息,从而实现了端到端的抑郁症识别和分析。在AVEC2013和AVEC2014测试集上,RMSE分别为10.32、10.27,取得了比当前大多数基于面部视频的抑郁症识别方法更优的性能。3.针对深层视觉特征提取过程中微调深层模型需要大量人脸图像以及没有考虑多个预训练深层模型的并行性问题,提出了一种基于深层回归网络（Dep Net）的抑郁症识别方法。该方法采用少量的面部图像序列,通过并行微调多个二维卷积神经网络（2D Convolutional Neural Network,2D-CNN）进行深层特征的提取,然后采用动态时序特征聚集模块（Dynamics Temporal Feature Aggregation Module,DTFAM）在深层特征上聚集和抽象高层特征。在AVEC2013和AVEC2014测试集上的实验结果表明,效果优于当前大部分基于深度学习模型的识别结果。与三维卷积神经网络-循环神经网络（3D convolutional Neural Network-Recurrent Neural Network,C3D-RNN）相比,RMSE分别减少了1.19%、1.53%。4.提出了一种联合微调2D-CNN的听视觉多模态融合的抑郁症识别方法。针对语音输入,通过联合微调全局统计特征、语谱图、语音子片段,以及语谱图的MRELBP特征的2D-CNN模型,深层次融合多种语音信息,提升了抑郁症识别的准确度。在AVEC2013和AVEC2014测试集上,RMSE为10.00和9.98,优于当前基于语音的抑郁症识别方法的性能。对于音视频融合抑郁程度估计,通过联合微调VGG-Face人脸特征和语谱图的2D-CNN模型,在AVEC2013测试集上的RMSE为10.08,取得了当前听视觉多模态融合方法中最优的识别结果,在AVEC2014测试集上的RMSE为9.99,优于当前绝大部分听视觉多模态融合抑郁症识别方法的性能。