Robustness Assessment of Asynchronous Advantage Actor-Critic Based on Dynamic Skewness and Sparsenes

来源 :计算机科学技术学报(英文版) | 被引量 : 0次 | 上传用户:jyin_studio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Reinforcement learning as autonomous learning is greatly driving artificial intelligence (AI) development to practical applications.Having demonstrated the potential to significantly improve synchronously parallel learning,the para-llel computing based asynchronous advantage actor-critic (A3C) opens a new door for reinforcement learning.Unfortunately,the acceleration\'s influence on A3C robustness has been largely overlooked.In this paper,we perform the first robustness assessment of A3C based on parallel computing.By perceiving the policy\'s action,we construct a global matrix of action probability deviation and define two novel measures of skewness and sparseness to form an integral robustness measure.Based on such static assessment,we then develop a dynamic robustness assessing algorithm through situational whole-space state sampling of changing episodes.Extensive experiments with different combinations of agent number and learning rate are implemented on an A3C-based pathfinding application,demonstrating that our proposed robustness assessment can effectively measure the robustness of A3C,which can achieve an accuracy of 83.3%.
其他文献
It is our great pleasure to welcome you to the 14th Advanced Parallel Processing Technology (APPT 2021),the flagship conference of the China Computer Federation Technical Committee on Computer Architecture (CCF TCARCH)!rnThe importance of building advance
期刊
DOI:10.16644/j.cnki.cn33-1094/tp.2021.11.023  摘 要: 根据湖南涉外经济学院本科毕业论文/设计工作的实际,重点研究了满足高素质应用型人才培养个性需求的本科毕业综合训练模式改革问题。构建了由传统毕业论文/设计和毕业汇报演出、项目策划、作品设计与展示、创新训练项目等多种形式共存的本科毕业论文综合训练体系。在此基础上明确了构建本科毕业论文综合训练体系的基本原
Electromigration (EM) is a severe reliability issue in power grid networks.The via array possesses special EM characteristics and suffers from Joule heating and current crowding,closely related to EM violations.In this study,a power grid EM analysis metho
DOI:10.16644/j.cnki.cn33-1094/tp.2021.11.027  摘 要: 1+X证书制度是近年来职业教育的一个重要制度设计,Web前端证书是首批推出的1+X证书之一。文章主要探讨在此制度下,如何对作为WEB前端开发核心内容的PHP应用开发课程进行教学改革。通过深入研究Web前端开发中级证书文件,结合校企合作内容,有针对性地进行教学改革。通过教改,使学生掌握Web前端开发
微塑料在海洋、湖泊等水体中频繁检出,但在饮用水中有关微塑料的研究甚少,其在饮用水中的存在现况和健康效应仍难以确定.文中阐述了近年来微塑料在饮用水中的存在现况、健康效应,分析了混凝沉淀、砂滤、臭氧氧化-活性炭过滤工艺对于微塑料的去除效率,并展望了微塑料在饮用水领域中的研究进展,对当前饮用水中微塑料研究存在的问题提出了建议.
DOI:10.16644/j.cnki.cn33-1094/tp.2021.11.030  摘 要: “数字电子技术”是计算机、电子类专业的重要核心专业课程,针对目前教学方法过于死板枯燥、理论与实验脱节的问题,提出利用LabVIEW虚拟仪器技术对课程内容进行设计,实现动态教学演示的教学方法。以编码器和触发器分别作为组合逻辑电路和时序逻辑电路的代表,在教学中演示不同输入参数下的结果呈现,增加课堂的互
DOI:10.16644/j.cnki.cn33-1094/tp.2021.11.013  摘 要: 为快速准确地从海量新闻中挖掘用户需求,解决短文本语义关系单薄、篇幅较短、特征稀疏问题,提出一种融合语义知识和BiLSTM-CNN的短文本分类方法。该分类模型将新闻短文本预处理成Word2Vec词向量,通過卷积神经网络提取代表性的局部特征,利用双向长短时记忆网络捕获上下文语义特征,再由Softmax
DOI:10.16644/j.cnki.cn33-1094/tp.2021.11.031  摘 要: 根据教育部制定的培养学生计算思维能力教学要求,结合医学院校中数据库课程教学现状分析,提出以计算思维培养为导向的线上/线下混合教学改革策略,通过重组教学内容、优化教学设计,在课程教学中进行实践应用。实施效果证明,采用新的混合教学模式可以达到提高学生学习主动性,培养学生计算思维方法的教学目标。  关键
DOI:10.16644/j.cnki.cn33-1094/tp.2021.11.021  摘 要: 随着信息技术的发展,传媒产业的发展趋向信息多元化、网络融合化、虚拟生态化,从而对综合型新媒体人才的需求显著增长。社会需求和人才供给之间的矛盾关系,反映出当前我国主流单系化教育模式的不足。因此需要优化培养体系,以“通识”为基础,“专业”为发展,建立有利于培养“一专多能”模式人才的方略。  关键词:
DOI:10.16644/j.cnki.cn33-1094/tp.2021.11.006  摘 要: 语音识别中的一个重要的分支就是关键词检索。虽然在英语上的关键词检索已经成熟,但是低资源的语音,比如维语的语音关键词检索研究缓慢,仍需要更深入的研究。文章在维吾尔语语数据集thuyg20上,先在GMM-HMM(Gaussian Mixture Model Hidden Markov Model)声学