基于Transformer的文本情感分析方法研究

来源 :武汉邮电科学研究院 | 被引量 : 0次 | 上传用户:huyuszsz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博作为参与者多、信息量大的社交平台,对其数据做情感整理工作,将会对网络安全管控起到关键性作用,情感分析就是处理这种任务的常用方法。考虑到基于传统词典和基于机器学习的情感分析方法过于依赖人工构建词典和选取特征,本文选择具有更强的泛化能力,可以高效处理大量数据、自动提取特征的深度学习方法构造模型,来对具有情感色彩的微博文本进行整理和分析,最终获取到文本的八种情感分类情况。在选择深度学习模型作为研究目标的基础上,了解到卷积神经网络与循环神经网络及其变体等方法在处理情感分析问题时存在较多的问题,如使用单一模型难以达到较高准确率、给予词语相同的权重等问题。从它们的结构与优劣势出发,本文主要研究工作如下:(1)针对文本情感分析较多关注于文本的正负二元情感分类问题,本文对微博文本进行八类情感划分,分别是:喜欢、快乐、伤心、恶心、生气、震惊、害怕和无情感,对微博情感更细致的分类以达到更有针对性的应用效果。(2)针对深度学习模型Transformer利用自注意力机制可以更好的关注文本的上下文语义,但忽略了局部特征信息。TextCNN可以很好的提取局部语义特征,但对长距离信息的提取能力较弱的特点。本文设计的模型利用Transformer中的自注意力机制,模拟人脑神经系统对微博文本进行特征提取后输入TextCNN层,将词向量进行卷积后得到相邻词向量之间的时序信息,然后经过激活函数对模型进行优化,最后将卷积层得到的时序注意力权重应用于文本分类。本文设计了不同模型的对比实验,实验结果证明提出的Transformer与TextCNN结合的情感分类模型Transformer+TextCNN(Tanh)和Transformer+TextCNN(ReLU)相较于Transformer的模型有了0.38%和0.20%的优化。(3)针对本文提出的Transformer+TextCNN情感分类模型,设计了不同的参数对比实验,包括Batchsize值、Epoch值和Dropout值。实验结果证明Batchsize参数设定为48、Epoch参数设定为20、Dropout的参数设定为0.5时实验效果最好。
其他文献
目的:探讨蟛蜞菊水煎液对慢性阻塞性肺疾病(COPD)模型大鼠血清、肺组织、清肿瘤坏死因子α(TNF-α)、白细胞介素8(IL-8)、白细胞介素6(IL-6)、超氧化物歧化酶(SOD)、谷胱甘肽转移酶(GSH-Px)含量的影响。方法:雄性SD大鼠分为5组:空白组(n=7)、模型组(n=7)、蟛蜞菊高剂量组(6.3 g/kg,n=7)、蟛蜞菊中剂量组(3.15 g/kg,n=6)、蟛蜞菊低剂量组(1.
红色研学旅行是推动旅游业发展、推进素质教育实施和促进红色文化传承的新方式新途径。文章以井冈山为红色研学地点,以青少年为主要红色研学旅行主体。首先,通过研究相关文献资料,明确了井冈山青少年红色研学旅行的研究背景与意义。其次,通过调查问卷的形式,分析了解当地青少年红色研学旅行的现状与需求。最终,制定出符合井冈山青少年需求的红色研学旅行产品开发策略。
目的 观察电针督脉经穴对血管性痴呆大鼠(vascular dementia, VD)海马CA1区转录激活因子6(ATF6)/内质网应激增强子结合(C/EBP)同源蛋白(CHOP)通路的影响,探讨电针治疗VD的作用机制。方法 将SPF级雄性SD大鼠随机分为正常组(Normal组)、假手术组(Sham组)、模型组(Model组)、电针督脉经穴组(EA+督脉经穴组)和电针非经非穴组(EA+非经非穴组),
本文將官品與品官結合起來探討,從一個新的視角,嘗試研究宋代官品。官品是一個抽象的等級符號,流内一命之官即獲官品;有品之官,即爲品官。兩者相互聯繫不可分割。官品在宋代經歷了從九品正從三十階到九品正從十八階的變化。官品本身没有實際意義,必須通過品官的各種載體,其“尺規”作用纔能得到體現。宋代官品的載體有文武散官、職事官、職名、本官、寄禄官、勳、爵、内外命婦、内侍官等等。凡命官身分,必須通過其所繫官銜的
通过共沉淀法将Fe3O4负载到多壁碳纳米管中,制备Fe3O4/MWCNTs纳米材料。通过X射线衍射仪(XRD)、透射电子显微镜(TEM)、X射线能谱仪(EDS)、N2物理吸附仪和傅里叶红外光谱仪(FTIR)对样品的结构、形貌和表面性能进行了表征。结果表明,Fe3O4成功负载到MWCNTs表面,并且表现出良好的分散性和均一性。在等号pH=2.5、催化剂添加量为1.5 g/L、反应温度为275℃、氧气
报纸
现代战争对防护工程材料性能提出了更高要求。超高性能混凝土(UHPC)作为一种高强度的建筑材料,其抗压强度大于150 MPa,抗折强度大于30 MPa,同时具备抗多次打击能力,相较于普通混凝土其防护性能提升巨大。介绍了UHPC材料在对抗多次冲击、侵彻、爆炸和侵爆耦合条件下的防护性能及UHPC材料的防护机理。为进一步提高UHPC材料的抗侵彻性能,提出功能梯度设计方法,使用高强骨料和纤维对UHPC材料进
徐贵祥的新作《英雄山》系列小说,从个体的生命经验入手,通过跌宕的故事和叙事模式的更新,使人物的命运走向构成了一种"互文"性的联系,成功地构筑了历史叙事的"穿插"与"伏击"这种新颖的叙事策略。叙事艺术的更新展现了作者对历史多元性的个人解读,实现了个人叙事与史诗叙事的有机结合。同时,通过特殊意象的书写,完成了个人与民族意识的生命更新,实现了对于民族国家和时代大势的文学想象,使作品获得了更具宽广内涵的哲
防护工程由于保障人员与设备,导致内部余热量巨大,而现有的排热方式效果有限且极易暴露。可将内嵌埋管用于其排除余热,并铺设于工程口部的岩土内表面以内,以此保障工程运行。为研究埋管的换热能力,通过建立内嵌埋管换热数值模型,分析了埋管传热模型的传热特性。并基于影响埋管换热的11种影响因素,开展了对埋管每米换热量的单因素分析,拟合出埋管运行前20天内的平均每米换热量与各影响因素间的回归关系式。
通过分析用户在线评论的文本信息来预测消费者的网购偏好意愿,进而提高消费者的满意度成为众多企业的需求.但庞大的评论数据量使得人工手动对评论文本进行分类打标签难以实现,结合Word2vec和TextCNN模型实现对在线评论进行文本情感分类.对评论文本进行规格化处理,通过结巴分词库等对已处理数据进行分词,即提取关键字词.使用Word2vec工具对每个分词进行词向量的训练,得到word embedding