论文部分内容阅读
近年来,随着人工智能和模式识别等领域的发展,人脸表情识别及其相关研究工作受到了学者们的广泛关注,并在商业、医疗、治安等方面有着很大的应用价值。本文着重研究静态人脸表情图像的识别与自动标注,具体研究工作如下:(1)针对传统特征提取算法局部二值模式(LBP)、中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)在图像特征描述方面的不足进行改进,提出中心对称局部平滑二值模式(CS-LSBP)和绝对梯度方向直方图(HOAG),并结合特征融合算法,提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。该方法首先利用人脸检测算法方法从图像中检测出人脸区域,并对截取的人脸感兴趣区域进行几何变化、尺度归一化和滤波处理,以减少姿态、光照、噪声等干扰因素对识别影响;其次,采用CS-LSBP算子和HOAG算子分别提取图像的局部纹理特征和局部形状特征;然后,为了充分发挥特征的互补性和鉴别能力,利用典型线性相关分析(Canonical Correlation Analysis,CCA)对两者进行融合;最后采用支持向量机(Support Vector Machine,SVM)对融合特征进行识别。实验结果表明,改进的特征提取方法能更加完整、精确地提取图像的细节信息,基于CCA的特征融合方法能充分发挥特征的表征能力,本文提出的人脸表情识别方法取得了较好的分类识别效果。(2)针对目前人脸表情数据库构建的不足,提出一种基于卷积神经网络的人脸表情图像自动标注方法,并构建了一个自然场景下的人脸表情数据库,以满足人脸表情识别对数据的要求。该方法首先利用图片批处理下载工具从网络上下载大量表情相关图像,并对采集的图像进行人脸检测和图像预处理;其次,对训练集进行数据增强,以解决样本类别不平衡问题,并利用增强后的训练集训练卷积神经网络;然后,将待标记样本原图像与其镜像图像送入训练好的神经网络,并将两者的输出结果进行决策级融合,以提高最终标注效果;最后,根据设定的筛选规则对待标注样本进行标注和初步质量评估。在RAF库(Real-world Affective Faces Database)上的实验结果表明,本文的样本数据增强方法和决策级融合方法可大幅度提高表情图像的标注效果,对构建数据库的人工评估和实验对比表明了所建数据库的有用性和所提标注方法的有效性。