融合序列到序列框架与生成对抗网络的文本摘要模型研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:loveliness900619
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在因互联网飞速发展导致的信息过载时代,自动文本摘要对于人们快速检索有效信息起着巨大的作用.文本摘要技术有抽取式摘要和生成式摘要两种,本文主要研究难度更大、生成摘要质量更好的生成式摘要技术.现有的生成式摘要是基于序列到序列结合注意力机制框架进行的,这种框架一般可以生成较短的质量尚可的摘要,但仍然存在着一些不足.比如,在生成较长的摘要时,生成的摘要容易出现单词或者短语的重复、有时会出现语法、语义不通顺等情况.针对这些问题,一方面,我们在上述框架下提出了一种解码器-指针网络结构,额外训练一个指针网络,其作用是从源文本中的某个位置复制合适的单词到当前时间步的输出,这种复制机制通过参数的调节与优化可以自动进行训练学习.另一方面,我们提出了一种覆盖率检测机制来解决摘要中单词、短语经常重复生成的问题,其主要的思想是引入了时间步的注意力权重分布之和作为覆盖率向量,通过抑制某一个维度注意力分布,加入一个覆盖率损失函数到目标函数,巧妙地解决了注意力集中在某几个单词的情况,缓解了生成的摘要出现重复的情况.由于生成对抗网络的结构可以让生成网络和对抗网络在互相对抗的过程中同步演化,让生成网络的输出非常接近真实的样本.基于此,我们将改进之后的序列到序列网络作为生成网络,引入了词向量模型加上卷积网络架构的摘要文本分类器作为鉴别网络,二者不断对抗、迭代,最终生成高质量的摘要.为了验证本文模型的有效性与优越性,我们选择了在Gigaword、DUC2003以及CNN/Daily Mail三个标准数据集上进行生成摘要的数值实验,选择了ROUGE-1,ROUGE-2,ROUGE-L三种指标进行摘要质量的评估.实验结果表明,本文的模型在三个质量评估指标上均得到了不同程度的提升.
其他文献
IFN-τ属于Ⅰ型干扰素,只在反刍动物的胚胎滋养层中分泌,作为反刍动物妊娠的识别信号,具备Ⅰ型干扰素功能,还有独特的抗黄体溶解及低细胞毒性特点,已逐渐成为研究热点。它作
目的观察依托考昔治疗早期颞颌关节紊乱病疼痛缓解和治疗的临床疗效。方法将我院收治的早期颞下颌关节紊乱病并符合入组标准的患者30例随机分为对照组15例,观察组15例,对照组采
叙述了目前芳砜纶纤维纺纱过程中存在的问题和缆型纺纱的机理,对缆型纺与传统纺生产的芳砜纶单纱分别进行了某些物理性能的测试,通过对测试数据的分析,证明缆型纺单纱比传统纺单
现代移动激光扫描系统通过将激光扫描仪、定位定向系统以及光学相机系统的有效结合,可实现大范围、高精度、带有全球定位信息的高分辨率三维点云数据的快速获取,同时还能获取
<正>一、引言与文献回顾从2001年9月开放式基金试点以来,短短几年时间,我国的开放式基金取得了迅速的发展,逐渐成为证券投资基金业的主流,2004年第一季度就出现了规模超百亿
2003年,国家体育总局将电子竞技运动列为我国正式开展的第99个体育项目(2008年更改为第78项)之后,电子竞技运动在我国如火如荼地发展起来。高校大学生作为信息传播最前沿的接
王安忆的文学创作历时40年,作品数量丰盛,涉及类型广阔,艺术成就斐然,她一直以来都是当代文坛上具有深远影响力和独特魅力的作家。2015年新发布的长篇小说《匿名》,以推理小
案例简介〕陶某某,女,27岁,与某某艺术礼品有限公司于1996年1月签订劳动合同。合同期限为三年(1996年1月至1999年1月),合同约定陶某某的职务为公关部经理,月薪为人民币1800元。1997年1月,公司得知陶某某已怀孕5个
财务管理是企业内部控制的核心内容,它通过财务会计信息对企业内部资源进行优化配置,推动了企业发展战略的实现。在现代企业管理中,财务决策、执行、监督三权分立的局面已经