关于文本分类和问答的深度学习算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lingqiuyi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言理解是自然语言处理重要的研究子领域,是计算机科学、认知科学、人工智能的交叉研究领域。自然语言理解希望计算机具备正常人的语言理解能力,理解蕴含在语言中的情感、潜在语义及其他方面的综合信息,然后推理出人类的意图。为此,研究者们针对不同的应用场景、从不同的任务展开了研究,研究的任务包括:词性标注,命名实体识别,情感分析,主题建模,信息检索,问答等。近年来,自然语言理解的研究呈现出了以下特点:在技术层面上,深度学理论和技术在各个领域和下游任务上取得了突破性的进展,使得对自然语言理解的研究工作由原来的特征工程更多地转向了现在的深度学模型和算法的设计工程;在任务层面上,大部分的任务与文本分类和信息检索相关,比如词性标注、命名实体识别、情感分析、语义蕴含等可以转化为不同粒度的文本分类任务;而信息抽取、问答等任务则与信息检索强相关;在数据层面上,自然语言理解可以根据训练数据是否具有监督信息分为监督任务、无监督任务和综合性任务,其中无监督任务和综合性任务尤其具有挑战。本文基于深度学相关算法,以分类和问答两类任务为研究对象,以监督任务、无监督任务和综合任务为研究主线,在以下方面取得了创新成果:1.以基于图神经网络的文本分类为切入点展开了对监督任务的研究,提出了一种基于融合机制的图神经网络(简称为图融合网络),旨在解决先前图神经网络应用于文本分类任务时存在的两个挑战:一是无法较好地构建文本图并利用监督信息对进行学和调整,二是无法方便和有效地对新出现的文档进行推理。对于第一个挑战,本文通过引入两种先验知识来构建多个文本图,并利用监督信息对其进一步学和调整,使之能够捕捉更多的结构信息和更好地适应下游任务;对于第二个挑战,本文基于文本图从字级别的表示中提取文档的表示,使得算法能够方便和有效地对新出现文本进行推理。通过在广泛采用的文本分类数据集上进行实验,验证了本文提出的图融合网络在分类性能上的卓越性;2.以情感分析任务为切入点展开了对无监督任务的研究,提出了一种基于度量方式的多源无监督情感分析框架。提出的框架能够对多个源域的监督信息进行建模,然后利用一种无监督的度量方式从多个源域迁移更适合目标域的知识,从而协助完成目标域无监督的情感分析。提出的算法在被广泛采用的情感分析数据集上进行了实验,结果证明了提出的算法性能优于其他的多源无监督域适应方法,甚至在某些域上比监督方法表现更好;3.研究了如何自动地从源域迁移知识,重新设计了对抗训练方法,提出了两种基于对抗训练的多源无监督情感分析框架。第一种框架利用判别器自动地学源域与目标域样本之间的距离,并根据学到的距离赋予源域分类器不同的权重,从而实现了对源域知识的迁移。为了更好地利用源域分类器所具有的能力,在第一个框架的基础上引入了自训练方法,使之能够对目标域的无标签数据进行打标,以此给目标域提供更多的监督信息。大量的实验证明了本文设计的对抗训练方法能够有效的协助两个框架完成多个源域的知识迁移,并使得目标域取得优异的情感分析性能;4.研究了同时需要远程监督信息和监督信息的混合问答,提出了一种能够完成混合问答任务的解决方案。混合问答需要处理的数据源包括文本和表格两种格式,是自然语言理解较为复杂的综合性任务。提出的方案首先根据最终答案构建检索阶段需要的远程监督信息,然后经过一种由路径引导的检索算法完成证据检索;最后适配和利用基于大型预训练模型的阅读器,根据问题的语义对检索到的结果进行阅读,找到最终的答案。关于混合问答的解决方案第一次在本文被提出,并在混合多跳问答数据集Hybrid QA上进行了验证,其检索性能超越了多个基线方法,阅读性能表现卓越。
其他文献
未来超超临界机组的发展目标为:大型化、一体化及长寿命,这一目标的实现在很大程度上取决于汽轮机关键大型部件疲劳强度及抗腐蚀性能。汽轮机过渡区叶片在工作环境中会经受腐蚀介质、循环载荷和高温水蒸汽的共同破坏作用,叶片表面出现的点蚀、腐蚀疲劳和气蚀破坏问题会导致其断裂失效。表面塑性变形技术能够显著提高金属材料的耐腐蚀性、机械性能和抗气蚀性,从而提高汽轮机叶片的服役寿命。激光冲击强化(LSP)技术具有超高应
目的:腹泻型肠易激综合征(irritable bowel syndrome with predominant diarrhea,IBS-D)是一种临床上较为常见慢性功能性胃肠病,目前现代医学治疗缺乏特异性药物,临床实践过程中,发现肠安菌泰对肝郁脾虚型IBS-D有良好的的治疗效果,但其主要治疗机制和药效成分尚不清楚。本研究的主要目的:1.通过系统分析“肠安菌泰”的化学成分和入血成分,明确“肠安菌泰”
自然流产(Spontaneous abortion,SA)是妊娠早期常见的并发症,发病机制复杂,50%的病因不明,其中60%与免疫异常相关。阴道、肠道菌群对女性生殖健康十分重要,研究发现某些妊娠相关疾病存在阴道和肠道菌群失调的情况,特定菌对不良妊娠结局具有可观的预测价值。SA作为早期妊娠障碍常见的并发症之一,与菌群的相关性研究较少。中医药治疗疾病疗效确切,越来越多研究证明肠道菌群是中药发挥作用的重
卵巢储备功能减退(DOR)是指女性卵巢内可募集卵母细胞数量减少,并见质量下降的一种病理状态,目前尚无明确有效的治疗方式。本课题组前期临床研究中发现,麒麟丸可提高脾肾两虚、冲血不足型DOR患者的抗米勒管激素(AMH)水平,改善患者月经情况及脾肾两虚的中医证候,但相关基础研究欠缺,其作用机制亟待阐明。目的:1.研究麒麟丸及其主要成分之一金丝桃苷,对DOR小鼠卵巢功能及生育力的影响及作用机制。2.研究金
目的:前期相关临床研究发现清热活血方具有抑制动脉粥样硬化(AS)作用。由单核细胞分化而来的巨噬细胞存在于AS的整个阶段,且巨噬细胞极化在斑块形成的过程中起至关重要作用。本研究通过体内、体外实验,借助高效液相-质谱分析、网络药理学分析、分子对接技术和RNA转录组高通量测序技术,从巨噬细胞极化角度探索清热活血方防治AS的潜在机制,为清热活血方干预动脉粥样硬化性心血管疾病(ASCVD)提供新靶点和新思路
蚌螨科Unionicolidae隶属于蛛形纲Arachnida,绒螨目Trombidiformes,湿螨总科Hygrobatoidea,为水螨亚股较丰富类群之一,广布于全世界六大动物地理区系中。全世界共记录13属694种,中国报道3属46种。其主要的生活方式为寄(共)生或自由生活,自由生活类群为捕食性,以水生昆虫卵和幼虫为食,寄(共)生性物种多生活于生于针海绵科(Porifera:Spongill
目的通过体外实验探讨非小细胞肺癌(NSCLC)A549细胞系的Vinculin表达对其生物学特征的影响。方法购买人NSCLC A549细胞系,体外培养,分为对照组、空白载体组以及高表达组三组,高表达组A549细胞系转染Vinculin过表达载体,空白载体组A549细胞系转染空白载体。体外培养48 h后,应用RT-PCR检测各组A549细胞系Vinculin mRNA表达情况,应用MTT法检测细胞活
目的:急性肝衰竭(acute liver failure,ALF)是我国乃至全世界重症肝病患者预后不良的最主要原因之一,国内外肝病患者死亡率高达90%。目前西医用来治疗急性肝衰竭的主要治疗方法只是原位肝移植,但肝移植后易出现的肝细胞铁死亡、免疫排斥反应等严重阻碍其发展,因此寻找新的治疗急性肝衰竭的方法是临床面临的关键问题。骨髓间充质干细胞(Bone mesenchymal stem cells,B
光和原子系综相互作用时,由于原子的集体增强效应,可以产生很强的原子自旋波。原子自旋波相干性强、自由维度多,是良好的信息载体,再加上原子特有的长时间信息存储特性,使得原子自旋波在量子信息、量子精密测量和量子计算等领域都有着广泛的应用。实际应用过程中的激光频率展宽、光模式不匹配以及外界杂散磁场对原子的干扰等因素,都会影响到原子系统的性能,比如导致量子态转换效率低、相干时间短等问题,进而限制了原子系统的