基于深度学习和注意力机制文本分类模型研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:zhaoct
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的不断进步,互联网中的信息更加呈现出杂乱无章的特点,尤其是海量信息中掺杂的负面以及虚假信息对社会带来各种不良影响,于是对信息的整理和归纳就显得十分有必要。文本分类技术具有对文本进行快速且准确自动分类的优点,因此得到了大家的强烈关注并成为了研究热点。早期的文本分类方法主要是利用传统的机器学习算法,虽然有一定的成效但还是会出现各种问题。本文主要利用深度学习方法和注意力机制来解决文本分类问题。从提取文本语义特征不丰富的角度利用深度学习方法进一步丰富文本语义特征,提高分类准确率;从不能很好突出对分类结果有重要作用信息的角度利用注意力机制加大对分类效果有重要作用特征的权重,突出它的重要性以此提高分类准确率。因此,本文的主要工作包括:(1)针对之前模型无法同时考虑到当前时刻之前和之后的状态,从而导致最后分类效果不佳的情况。以及大多数文本分类模型利用单一来源词向量中对于有些未出现的词直接删除处理或随机初始化造成语义信息丢失和单一来源词向量融合成单通道造成语义特征不丰富的问题。提出一种基于CNN的多通道特征表示文本分类模型(MCCNN)。模型将不同来源的词向量作为两个双向长短期记忆网络的输入,每个时刻的正向和逆向输出按序垂直堆叠形成多通道的文本特征表示,以此达到同时捕获上下文的信息的作用,从而进一步丰富特征表示语义信息。然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前及之后的信息,从而更加有效地进行文本分类。(2)针对循环神经网络在对整个序列建模时不能很好地提取局部关键短语信息的缺点以及传统文本分类模型不能突出对分类效果有重要作用的特征序列问题,提出了一种基于注意力机制的中断循环神经网络文本分类模型(Att DRNN),该方法通过限制循环神经网络信息传递的距离让循环神经网络具有像卷积神经网络一样提取局部位置不变性的能力并以此获得关键短语信息相同的表示,另外使用注意力机制对重要特征赋予更大权重来突出对分类效果有重要作用的特征序列,从而提高分类准确率。
其他文献
凸二次规划问题在许多领域中都有广泛的应用,系统分析,组合优化等诸多科学问题与工程问题都可以表述为凸二次规划问题后求解。一般而言,二次规划问题在经过拉格朗日法处理后可以利用神经网络求解。但是传统微分神经网络在面对大规模实时二次规划问题时表现不佳,存在求解精度较低以及收敛时间过长的缺点。基于此,本文提出了新型积分动态学习网络和变参积分动态学习网络。仿真实验证明这两种神经网络都有收敛速率快,求解精度高的
随着国家经济水平的迅速提升和道路建设的快速发展,近十年我国各城市机动车数量不断增加。交通问题已经成为城市管理的重要问题,给城市社会经济发展造成严重影响。智能交通系统是未来交通系统的重要方向。车辆细粒度分类是智能交通视频分析的关键技术。车辆细粒度分类的目的是给定一帧车辆的视频图像,识别出该车辆的具体车型。车辆细粒度分类已有不少研究成果,然而依然是亟需解决的难题,面临类内差异过大和类间差异过小的挑战。
钢轨作为铁路的重要组成部分,在长期反复荷载作用下,容易出现表面伤损和内部伤损,且主要表现为表面伤损。钢轨表面伤损不仅会使列车产生振动、噪音,影响列车的运行质量,并且当伤损发展到一定程度,将导致钢轨断裂,甚至导致列车出轨、倾覆等事故,影响列车运行安全。因此,对钢轨表面伤损检测进行研究具有重要的意义。在常用的钢轨表面伤损检测方法中,涡流检测、漏磁检测、激光超声检测、声发射检测等物理检测方法和传统图像处
人群计数出现时间很早,最早的时候人们采用检测、回归的方法进行人群计数。随着深度学习的发展,人们也开始使用深度学习的方法得到一张图片的人数。在地铁场景中,实现人群计数有着很大的意义。本文按照人群密集程度将地铁站台场景划分为密集场景,将站厅和出入口场景划分为稀疏场景,分别进行计数。一、密集场景下静态人群计数网络。密集场景采用了自适应的远近景划分计数网络(Gr CNet)进行计数。该模型分为两个阶段,第
随着机器学习算法模型规模和数据量的高速增长,单个节点不能够有效的承担大规模训练所需的计算和存储需求,因此在分布式集群中运行大规模机器学习算法已成为常用方法。分布式机器学习关键在于如何解决划分训练数据、分配训练任务、调配计算资源、整合分布式的训练结果等问题,以达到训练速度与训练精度的平衡。因为现在大规模机器学习领域的主要矛盾仍然是训练数据量过大导致的训练速度缓慢,所以目前常用的分布式机器学习方法是采
机器人的应用范围已经越来越广泛,与人一起工作形成人机协作共同完成任务已经是随处可见。在传统的人机协作中,为保证安全,机器人与人要处于分离状态,这种状态下的人机交互维度单一、效率低下。在新型的人机协作中,机器人与人可以安全合作分享同一个工作空间,与人的能力形成互补,充分发挥机器人与人之间的优势,从而提高自动化程度。在此环境下,机器人应该及时对人的动作做出预测,这一点尤为重要,使用给定的运动数据来学习
乳腺癌是中国女性最常见的癌症之一。早期发现、正确诊断对提高生存率极为重要。在临床实践中,乳腺钼靶x线摄影术是一种广泛用于乳腺癌早期筛查的最可靠的方法。为了正确地发现和诊断乳腺癌,放射科医生必须每天阅读大量的乳腺钼靶x线图像,持续的高负荷工作不可避免地给他们造成视觉和心理疲劳,导致诊断结果受影响。因此,有必要使用计算机辅助检测和诊断技术给放射科医生提供第二意见,协助放射科医生进行准确诊断。随着现代科
近年来,道路交通发展愈发快速,现代城市的交通情况复杂多变,仍存在许多问题需要改善。交通流信息作为道路交通状况的一项重要依据,其测算工作不容轻视。目前有着多种采集交通流信息的方式,其中采用图像检测的方法不仅可以减少其它方式的信息疏漏,同时还能够更方便地传输给交通部门,使得交通部门能够实时地掌握交通流状况。针对交通流信息智能化提取方法研究,以实现城市交通流信息的采集高效性和信息管理的信息化、智能化,提
简要评述了中高能核物理中核子-核子(NN)碰撞的国际研究现状,期望对兰州重离子加速器冷却存储环(HIRFL-CSR)的物理工作有益。文中主要涉及近年来短程核力研究进展与存在的困难,及与STAR和PHENIX高能重离子实验新进展相关的若干NN两体碰撞基本问题等,特别关注奇异性产生与重味产生方面的NN碰撞物理,以便更好地认识中高能NN碰撞研究的重要性。
胃肿瘤在我国是排名首位的恶性肿瘤,由于胃癌早期病人与正常人无太大差别,当就诊时大多已是晚期胃癌,预后差。深度学习模型可以辅助医生诊断病情,及时识别出胃肿瘤细胞,进而提升患者的生存率,胃肿瘤细胞图像作为典型的小样本数据需要经过数据增强才能在深度学习模型中训练。旋转、平移、翻转等是经典的数据增强技术,可以成倍扩充样本集,但是这些技术生成的图片,样本多样性增加非常有限,在深度学习上表现不好。而生成对抗网