基于RNN的代码自动生成及可视分析研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:simplyblue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着经济的快速发展和大数据时代的来临以及计算能力的提升,人工智能得到了迅速发展。深度学习作为新一代人工智能技术的代表者,在很多领域或任务上都取得较大突破。代码自动生成是多年来计算机领域的一项具有研究价值和挑战的任务,当前的研究热点也转移到以深度学习为主的方法,并在代码生成质量及可移植性等方面取得较大提升。但是,深度学习固有的黑盒特性,使代码自动生成模型的工作机理难以解释,继而难以有针对性地进一步对模型进行优化和提升。结合以上问题,本文以基于Char-RNN的代码自动生成模型为基础,通过可视分析的方法来研究循环神经网络内部神经元状态的变化,以此来探究模型的工作机制,提高深度学习模型的可解释性,最后通过可视分析得到的结果来优化模型。本文的主要工作:首先建立了 Char-RNN语言模型,以C语言和Python语言的代码集作为数据集进行训练,将训练过程中神经元的状态保存下来;然后通过可视分析工具LSTMVis将训练过程中神经元的状态变化可视化显示,多角度进行分析;最后通过分析得到的结果选择Dropout优化算法,并对Dropout算法做了改进,对模型进行优化,使其达到更好的效果。通过可视分析工具LSTMVis,编程语言的if语法和print()函数为观察点,在以收敛后的模型为实验对象的实验中,发现在模型内部特定神经元与if语法点或者print0函数点的预测之间存在较强的联系;在以不同训练时间点的同一类模型为实验对象的实验中,发现在模型内部存在神经元在整个训练过程中持续影响对特定观察点的预测。最后基于这些发现对Dropout优化算法做了针对性改进,并与使用原始Dropout算法和使用参数优化的方式进行对比,使代码生成结果得到提升。
其他文献
羊栖菜是我国的经济藻类之一,生长范围广,生物量大,具有极高的营养价值和药用价值。羊栖菜产业存在的主要问题是加工程度低、综合利用率差、应用范围窄等。本研究以羊栖菜为
在我国诸多大型矿井中,为满足通风及快速掘进而在回采工作面采用多巷布置方式。待回采结束后,采空区两侧将遗留多条煤柱,势必造成资源的极大浪费。随着煤炭资源的日渐枯竭,煤柱回收事宜早已提上日程。而在煤柱回收时,工作面内不可避免地存在大量空巷,导致煤柱回收工作十分困难。为此,回收煤柱工作面过空巷条件下矿压显现规律、覆岩破断运移机制以及此类工作面围岩控制技术的研究显得尤为重要。本文以华润大宁煤矿二〇二综采工
本文主要针对一类非仿射非线性系统中未知迟滞干扰等问题展开研究,基于自抗扰控制,设计了两类神经网络和自抗扰控制相结合的控制方案,并应用于金属切削机械系统。讨论分析了
健康监护系统通过采集生命体征数据,对患者健康进行实时监护,对各项健康大数据进行存储与分析,进而及时采取措施以达到预防及治疗疾病的目的。随着信息技术的飞速发展,医疗行
生态问题关系到人类社会的永续发展,是当今社会的一个重要问题,而对生态问题进行深入研究就必须了解人类行动与生态环境之间的内在关联。从实践唯物主义视角来看,人类的行动
机器学习技术(如稀疏学习、支持向量机等)已被成功地应用到各个领域,包括图像处理,医学影像分析等。最近,研究人员也将机器学习应用到基于功能磁共振成像(functional magneti
南美白对虾营养价值丰富,捕捞后易腐烂变质。除少部分鲜食外,绝大部分采用速冻方法保藏,能耗较高、产品单一且附加值较低,难以满足市场需求。本文以南美白对虾为原料,采用烫
随着我国“一带一路”及“西部大开发”等战略方针的实施与推进,越来越多的桥梁、输电线塔以及高层建筑等不断建设。受工程地质条件和环境保护等方面的限制,某些基桩不得不建
张拉机构是一种由刚性杆件和柔性线索组成的柔性机构,这种刚柔并济的结构形式赋予了张拉机构极高的运动灵活性,在张拉机构中加入驱动器使其实现规定轨迹的可靠运动,即为张拉
随着纳米科技的迅猛发展,纳米材料的研究已经成为当今科学研究的热点。利用纳米材料制备得到的纳米生物传感器与传统的传感器相比较,具有响应速度快、灵敏度高、检测范围宽、