论文部分内容阅读
随着WEB2.0时代的飞速发展,人们获取信息的方式,已经由最初的报纸、期刊、广播等传统单向宣传媒介逐渐转变成新型互联网双向沟通媒介。电商、新闻、社交等互联网平台上出现大量的短文本评论,并呈现指数级增长的态势。如何对这类数据进行情感倾向分析和挖掘是自然语言处理(Natural Language Processing,NLP)领域的研究热点之一。该研究不仅可以创造巨大的商业价值,而且能为企业和政府机构的社会舆论监督提供十分重要的参考依据。针对该研究挑战,本文的主要研究工作和创新点如下:1、通过文本情感分类任务的相关研究发现,将循环神经网络(Recurrent Neural Network,RNN)和卷积神经网络(Convolutional Neural Network,CNN)进行合理地组合,可使得模型在学习过程中充分地综合其二者的优势性能。相对于仅使用其单一的模型来说,效果有显著提,但其中标准RNN和CNN分别存在梯度异常和重要性特征不明显等问题,因此本文首先将双向门控循环单元(Bidirectional Gated Recurrent Unit,Bi GRU)和深度循环神经网络(Deep Recurrent Neural Network,DRNN)结合为深度双向门控循环单元(Deep Bidirectional Gated Recurrent Unit,DBGRU)。通过在其网络层间设计了一种交替式方向的传播迭代模式进行改进,让模型在学习过程中不仅能够避免时间跨度过长导致信息参数更新不合理的问题,还能够将文本每一个方向的语义信息尽可能综合地保留,充分考虑了输入词的上下文信息,提升了对文本语义信息处理的效果;然后为了解决CNN训练过程中重要特征不明显的问题,将标准CNN的单特征卷积扩展为多特征卷积,同时在卷积层前使DBGRU的输出向量与词频-逆文档频率(Term Frequency-Inverse Document Frequency,TF-IDF)和情感注意力的融合特征向量进行乘积计算赋予额外权重,使其改进成为一种多特征卷积神经网络(Multi-Feature Convolutional Neural Network,MFCNN)。将分别使用词向量与字向量文本分布式表示通过DBGRU训练后获得的各时刻隐藏层输出状态输入至MFCNN中进行特征提取,最后将池化后的两种特征向量融合后进行情感分类。实验表明DBGRU-MFCNN相对于其他相关的情感分类模型能够进一步提高文本情感分类的精确度。2、鉴于生成对抗网络(Generative Adversarial Network,GAN)与变分自编码器(Variational Auto Encoder,VAE)在图像生成领域的卓越表现,本文尝试将二者进行结合后应用于文本处理领域,进而提出了变分自编码器-集成分类器对抗网络(Variational Auto Encoder Ensemble Classifier Generative Adversarial Network,VAE-ECGAN)。使用DBGRU-MFCNN模型作为GAN中的判别器(Discriminator,D)进行文本真伪判别,而VAE中编码器和解码器均采用双向长短时记忆网络(Bidirectional Long Short-Term Memory,Bi LSTM),同时加入了注意力机制使其能够有关注性地生成文本和提取文本的特征。另外为了能够生成指定类别的情感文本,本文基于辅助分类器生成对抗网络(Auxiliary Classifier GAN,ACGAN)加入了情感标签进行指导性训练,并且将DBGRU-MFCNN、朴素贝叶斯(Naive Bayesian,NB)模型、决策树(Decision Tree,DT)模型、支持向量机(Support Vector Machine,SVM)模型通过Stacking异质集成学习的方式进行结合来作为ACGAN的辅助情感分类器。最终实验表明VAE-ECGAN不仅使其通过对抗训练的集成情感分类模型在其分类性能方面更加优于DBGRU-MFCNN以及其他现有的情感分类模型,而且可以通过VAE生成较好表达效果的情感文本。通过以上两部分针对文本情感分类问题的研究结果可以得知,基于RNN和CNN的DBGRU-MFCNN要比单一模型的效果好,同时在文本特征学习的过程中,添加额外的权重可以让模型更加方便地关注到特征与类别的映射关系。将集成学习的思想融入进VAE和GAN中,能够让模型在文本情感分类性能方面相比于其他相关模型得到进一步提升,为基于深度学习的文本情感分类研究工作提供了更好的优化策略。