基于改进循环神经网络的中文文本分类研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:jintaijing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类作为自然语言处理的重要研究领域,在农业、商业、法律、社会科学等诸多领域发挥重要作用。中文文本分类主要分为短文本分类和长文本分类两大子任务。短文本分类的主要难点在于如何有效提取关键语义信息,确定类别,而中文长文本存在语义信息复杂、特征分布不均等问题。本研究针对上述问题,通过改进循环神经网络并结合其他模型分别提出了解决办法,本研究的主要工作如下:(1)针对长短时记忆网络对前后向信息利用不够充分的问题,本研究提出了一种新颖的非平衡长短时记忆网络,并结合此网络提出了基于特征增强的非平衡Bi-LSTM中文短文本分类模型。该模型首先利用BERT预训练模型训练词向量并提取初步的语义特征,随后利用非平衡长短时记忆网络增大重要语义权重,进一步提高关键特征对中文文本识别的效果,同时利用多层注意力机制拉大关键文本信息与非关键信息的差距,最后使用Softmax函数进行分类。通过与多种模型进行分类效果比对,结果表明该模型能显著提高中文短文本分类的准确性,具有很强的中文文本特征识别能力。(2)为了解决中文长文本类别分布不平衡的问题,本研究提出了一种数据增强方法。该方法首先统计词频确定小样本类别,之后将小样本类别多倍复制结合到原始语料中形成小样本类别增强的新数据。为了提高卷积神经网络对中文长文本的特征抽取能力,本研究提出了一种新颖的Text-Inception架构,并结合此架构提出了一种基于特征增强的Text-inception的中文长文分类模型。该模型首先使用Text-Inception模块用以提取文本的浅层关键特征,同时利用双向门控循环单元和胶囊神经网络组成深层特征提取模块理解深层文本语义,之后利用K最大池化层对浅层与深层特征降维并进行特征增强,最后使用Softmax函数进行分类。通过与多种模型进行分类效果比对,结果表明该模型能明显提高中文长文本分类的准确率。
其他文献
新冠病毒已在世界范围内迅速传播,并感染了全球数以亿计的人口。随着对疾病的了解增加,对由此所造成的并发症、后遗症的认识也在不断加强,暂且将此类并发症与后遗症统称为“长新冠”综合征。和新冠肺炎急性感染期相似,“长新冠”综合征也存在着异质性。本文就“长新冠”造成的多个器官系统中观察到的各种长期并发症与后遗症进行综述,意在提高人们对于“长新冠”患者的重视,以使其获得更好的生存质量。
<正>初中学生好奇心强,容易在不知不觉间落入赌博圈套,一旦沉迷其中,危害极大.本节课在师生互动的过程中让学生从数学的角度识别赌博中的“事件现象”.在游戏活动中,体会赌博背后庄家的手段,增强学生的预防意识和防骗能力.1.问题的提出.文具店中有很多文具盲袋,非常受学生的欢迎.盲袋中的商品各式各样,学生在购买时充满不确定性.初中阶段的学生喜欢刺激性强、反馈性快的活动,
期刊
核心素养,指学生应具备的、能适应终身发展和社会发展需要的必备品格及关键能力。语文学科的核心素养是一种以语文能力为核心的综合素养,包含语文知识、语言积累、语文学习方法和习惯、思维能力、人文素养等,是工具性与人文性的统一。充满智慧闪光和文化共鸣的课堂,必定是能落实核心素养、激发学生学习兴趣使之自发主动运用语言知识、让思维闪光的课堂,是一种深度学习的课堂。
<正>从机械、被动、纯记忆式的浅层学习转向关注批判反思、信息整合、知识迁移、理解协同能力的深度学习,是新时代对学习者的新要求,也是当前我国育人方式变革、核心素养培育的新方向。尽管学生是深度学习的主体,但实现深度学习的关键却在课堂。而深度教研能够为教师适应教学改革需要、推进学习方式变革提供有力的支撑。深度学习背景下传统教研方式面临挑战华东师范大学课程与教学研究所教授钟启泉指出,深度学习是“学习者能动
期刊
<正>随着人们生活水平不断提高,对各类生鲜食品需求量剧增,品质要求也相应提高。生鲜食品从产地到餐桌,对于物流管理中采购、保藏、运输以及配送各环节要求很高。随着大数据和物联网技术发展,供应链各环节提质增效,合力促进了物流管理在模式和效能上的创新。由清华大学出版社出版的《食品物流管理》,在充分介绍食品物流活动价值和质量安全相关理论基础上,通过理论与实践相结合的方式,
期刊
[目的/意义]随着互联网的飞速发展,网络赌博平台在网络空间中迅速蔓延,侵犯了国家对于网络空间以及社会秩序的管理制度,加之具有跨境、跨区域性的特点,使得公安机关对此类犯罪的打击难度明显增加。[方法/过程]通过文献资料查询与侦查实践相结合的方法,针对网络赌博犯罪的主要表现形式和特点,明确在侦查过程中存在的困难,有针对性地提出对此类犯罪有效打击的策略,[结果/结论]帮助公安机关顺利通过侦查环节,提高针对
目的 探讨针刺配合康复训练对颅脑损伤患者运动功能、认知功能的影响。方法 选取100例2020年1月—2021年4月于环球医疗阳煤集团总医院神经外科就诊的颅脑损伤患者,根据随机数字表法将其分为联合针刺组(50例)、康复训练组(50例)。2组均接受常规治疗,康复训练组接受康复训练,联合针刺组在康复训练组基础上接受针刺治疗,2组均连续治疗4周。记录2组治疗4周后的治疗效果,比较2组治疗前、治疗4周后的运
新课改下的教学教研工作发展至今,良莠不齐、喜忧参半。成绩已成过去,不说也罢,更多的令人担忧的是新课改过程似乎"滑进"模式化、程序化、单一化的轨道;教学过程重知识、轻能力的势头没有得到根本性改观;课堂教学与学生生活实际基本脱节。因此,"深度学习"教学改进和学科教研方式的转变已迫在眉睫。教学方法、教学内容的改变;确立更有意义的教学目标;如何把握学生各年龄段的认知规律;教师如何教才有利于学生如何学;如何
为了解决传统GM(1,1)模型在进行沉降预测时受环境干扰较大以及拟合与预测精度较低等问题,提出将时间距离与相对误差相结合的一种模型预测方法。通过对时间序列值进行加权,并引入新陈代谢思想,建立加权动态GM(1,1)模型。以高速铁路沉降监测数据作为试验数据,分别使用加权动态GM(1,1)模型与传统GM(1,1)模型、加权GM(1,1)模型进行拟合预测。结果表明,相比于传统GM(1,1)模型和加权GM(