面向开放域对话的神经回复生成算法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:edisonlin123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人机交互领域越来越成为研究的热点,尤其是开放域对话任务。随着网上海量数据的增长以及深度学习技术的发展,基于数据驱动的对话生成得到了广泛关注。现在主流方法是采用一个Sequence-to-Sequence(Seq2Seq)的框架对对话上下文进行编码,随后解码生成对应的回复。但是,这类方法容易出现“安全回复”问题,即生成的回复没有信息量且无意义。
  针对此问题,我们从对话的三要素(说话内容、不同人物角色以及对话时的思维方式)出发来分析现有工作的不足以及提出对应的解决思路:一些工作试图提高上下文语义的理解,来提高回复与其的语义一致性,但忽略了开放域对话中多种对话模式(话题之间的转移),这将使得生成的回复过于单一;另外一些工作将人物信息作为模型的附加内容,虽然在一定程度上提高了回复者一致性,但这样的操作无法迁移到其他语料上;现在大部分的工作在Seq2Seq模型的基础上使用机器翻译任务中的注意力机制模拟对话的过程,但这和人类对话时的思考过程不同,动态的注意力计算过程会破坏回复的中心思想。
  因此,我们基于以上三方面的考虑,分别提出了神经变分缩放推理网络(NVSRN)、半监督稳态变分网络(SSVN)和动静态注意力变分网络(SdavNet)。其中我们在NVSRN模型中设置了一个神经对话模式推理器,其借用vonMises-Fisher(vMF)分布刻画方向数据优势,来学习对话中话题之间的偏转,同时设计话题缩放机制来预测该转移的程度,进而生成积极主动且更加合理的回复;我们在SSVN模型中引入了一个无监督的个人特征提取器来捕获回复者的语言风格特点,借此在回复生成器中提高回复者一致性;关于模拟人类思考方式,我们设计了一个静动态注意力机制,该机制中的静态注意力负责推理回复的中心思想,动态注意力部分将该中心思想扩展成完整的回复语句。最后实验结果表明,相比于最优的基线模型,提出的三个网络(NVSRN,SSVN和SdavNet)使得多样化指标在Cornell电影数据集上分别提升了14.56%,34.09%和63.72%,进一步验证了基于此三点的改进在开放域对话生成任务上是有效的。
其他文献
再制造是废旧产品回收再利用的有效途径之一,有助于降低成本、减少资源浪费和环境污染,具有巨大的经济效益和社会效益。伴随废旧产品回收产生的逆向供应链与传统正向供应链结合,形成了闭环供应链,实现了系统利润最大化。本文针对零售商主导、第三方和零售商主导混合回收模式的闭环供应链系统动力学模型进行深入研究,对影响收益相关因素进行优化,使制造商、零售商和供应链的收益最大化。  为提高供应链的利润,应用博弈论理论
学位
很多领域的实际应用问题都可建模成四个甚至更多目标的优化问题,这类问题称为超多目标优化问题,而两个和三个目标的优化问题称为多目标优化问题。与多目标优化问题相比,超多目标优化问题的求解更加困难。主要原因在于:1)随着目标个数的不断增加,Pareto最优解的数量呈指数级增长,而现有的支配方法选择压力往往不够,无法从大量的Pareto最优解集中高效地筛选出真正有潜力的代表解集;2)由于目标个数的增多,导致
Ad-hoc检索任务主要是用户通过一个查询指定其信息需求,而后信息检索系统会搜索可能与用户需求相关的文档返回给用户。随着深度学习的发展,研究人员提出了许多神经网络匹配模型并在ad-hoc检索任务上取得了显著的性能提升。现有的神经网络匹配模型将查询或文档中的单个词项或n-gram片段的向量嵌入作为一个匹配单元,先将每个查询匹配单元与文档中所有的匹配单元进行局部交互计算相关性特征(例如,cos相似度)
云计算的计算资源共享模式带来便利的同时也引入了云计算安全问题,云计算服务商成为了云计算用户数据的管理者,用户数据存在被云服务商窃取的隐患。本文主要针对数据库管理系统在云环境的安全性进行研究。  可信计算可以用于解决云服务商的不可信任问题,利用安全的硬件在隔离环境下执行应用程序。本文的研究主要基于IntelSGX技术,该技术提供硬件层面的内存隔离,和远程安全认证等保护机制,且SGX目前支持在多种虚拟
重摄影(Computational Rephotography),在同一场景下,利用历史时刻的参考图像或其他信息,在当前时刻重新获得一张与历史参考图像在同样视角的图像,以捕获观测场景在时间维度上发生的变化。其在历史研究,环境监测,变化检测等任务中具有巨大的应用价值,也是计算机视觉中的重要问题。本文主要着眼于实际工作中现有方法的痛点,结合相机即时定位和重建(SLAM)技术,来进一步优化和完善重摄影方
学位
随着观测能力的不断提升,天文观测获取的数据量呈爆炸性增长,大量优异的天文学研究成果建立在这些海量的历史观测数据之上。因此,建立一个长周期天文观测数据归档系统对于天文学研究有着重大的意义。然而这些海量的天文观测数据给归档系统带来了不可忽视的能耗和性能问题。其中,存储布局的优化是能够减少能耗并提高性能的有效方式。由于归档系统数据请求往往是针对天球面上的某一区域,观测现场的时间集聚存储布局方式在能耗和性
声音可以极大地提高用户在虚拟环境中的沉浸感和真实感。室外场景在虚拟环境中必不可少,但计算机图形学中声音传播模拟方法大多都是针对室内场景的。其中,射线追踪法虽然可以用于模拟室外声音传播,但不能准确地模拟低频声效应。另外,在声学领域中,一些基于波的数值方法可以较为精确地模拟室外声音传播,但计算效率不高。  考虑到大气的不均匀性,本文提出了一种基于改进的FDTD-PE的预计算方法,用来模拟室外三维虚拟场
学位
近年来,区块链技术在互联网金融和数字征信等领域得到了广泛应用,2019年政府也提出将区块链作为国家战略层面的核心技术,但区块链技术也面临很多安全问题。隔离攻击是一种网络阻断攻击技术,攻击者通过控制以太坊节点所有传入连接,截取受害者消息。发起隔离攻击的攻击者,根据以太坊客户端在重启之后,所有连接断开和邻接节点表Table为空的特性,恶意向受害者节点发送大量连接请求PingRequest,一方面使受害
本文主要研究社团导向的深度属性网络表征,即在深度模型中融入社团信息进行属性网络的表征。为了解决这个问题,本文需要解决三个子问题,分别是:如何让网络拓扑和结点属性更好的融合;在表征模型中如何产生社团信息;在表征模型中如何利用社团信息。针对该问题,本文提出了两套解决方法。  1.第一套方法为基于变分自编码、社团导向的属性网络表征模型。该方法提出一个“共享-独立”的方法来处理网络拓扑和结点属性的关系。对
随着网络规模扩大和数据流量的爆发性增长,传统的基于包级别的采样技术难以在当今高数据量、高速链路转发的情景下实现全局网络的采样。另外,为了实现网络安全分析、应用识别、服务质量保证等应用功能,网络管理系统往往更加看重的是采集到全局网络中的每一条流,以及获取流级别的深度信息。然而,目前的深度包检测技术与基于数据测量的技术在全局的连续包采样、深度信息收集上都有各自的缺陷。因此,在收集器带宽资源的限制下,实