论文部分内容阅读
社交媒体已经从官方的消息发布平台发展成为大众交流和情感表达平台。基于自然语言处理技术的社交媒体分析、观点抽取和情感分析等研究显得愈发重要。在发现社交媒体文本中蕴含的情感状态基础上,旨在深入探究情感触发机制的情感原因发现问题具有重大的学术价值和应用前景。现有的情感原因发现方法主要包括基于规则的方法、基于机器学习的方法和基于深度学习的方法。基于规则的方法受限于人工总结的规则质量和覆盖率。基于机器学习的方法依赖于人工筛选的特征,不易建立端到端的学习模型。基于深度学习的方法则存在学习过程不易控制、可解释性差和对高质量标注数据依赖的不足。针对以上问题,本文在现有的深度学习模型基础上引入层次注意力机制以进一步提高文本的表示能力,同时通过知识蒸馏技术引入领域知识,从而改善模型的可控性。现有的情感原因发现方法往往存在忽略子句序列关系特征的不足。为此,本文提出一种结合位置编码和残差结构的层次注意力网络模型。该模型采用层次结构的双向门限循环单元(Bidirectional Gated Recurrent Unit,Bi-GRU)捕获词级和子句级的序列特征,利用注意力机制捕获子句与情感表达之间的潜层语义表示。同时利用位置编码学习在情感原因发现任务中比较重要的子句相对位置信息。最后引入残差结构获得子句的最终语义表示用于分类。在EMNLP2016中文情感原因发现数据集上的实验结果显示,基于层次注意力机制和Bi-GRU的模型相对基线模型均取得了明显的性能提升。相比当前性能最优的方法提升了0.004。目前主流的深度学习模型存在数据依赖性高和可控性低的缺点。为此,本文进一步研究了结合领域知识的情感原因发现方法,提出了两种在深度学习模型中引入领域知识的方法。一是利用预训练语言模型将大量无标注文本中蕴含的关系型领域知识迁移到当前的模型中,强化模型的语言表示学习能力。二是用情感原因发现领域的人工规则指导神经网络的训练,并利用知识蒸馏技术将规则带来的逻辑型领域知识迁移到网络参数中。实验结果显示,在引入领域知识后,两种方法的性能都明显超过了当前最优方法,F1值提升分别为0.18和0.05,达到了目前已知的最高性能。