【摘 要】
:
近年来,随着科技和人类生活需求的不断提升,移动机器人路径规划技术成为了机器人研究领域的研究热点问题。在路径规划应用中,移动机器人的任务是要从未知陌生的环境中来模拟人类自主感知做出动作决策,从而安全顺利的到达目的地。在未知环境中,深度强化学习算法存在过估计问题,以及重要样本训练的不充分问题。本文提出改进的DDQN算法(Improved Double Deep Q-Network,IDDQN),减少训
【基金项目】
:
天津市自然科学基金项目(19JCZDJC40000);
论文部分内容阅读
近年来,随着科技和人类生活需求的不断提升,移动机器人路径规划技术成为了机器人研究领域的研究热点问题。在路径规划应用中,移动机器人的任务是要从未知陌生的环境中来模拟人类自主感知做出动作决策,从而安全顺利的到达目的地。在未知环境中,深度强化学习算法存在过估计问题,以及重要样本训练的不充分问题。本文提出改进的DDQN算法(Improved Double Deep Q-Network,IDDQN),减少训练时移动机器人的碰撞障碍物的次数,提高路径规划的能力,达到成功避障、对不同环境具有适应性的要求。主要研究工作如下:(1)为解决深度强化学习在移动机器人路径规划应用中的过估计问题,将Sarsa算法中Q值温和的更新方式引入到DDQN优化目标计算中,以用来克服优化目标中max的激进操作,随后利用改进的优化目标对损失函数进行计算并对网络参数进行更新,从而使得网络估计出的值函数更加符合真实值;同时将平均DQN的思想引入到ε-greedy策略中,利用前代参数网络输出的值函数,求取其平均结果来决定移动机器人下一步的动作方向,从而选择当前状态下的最优动作,以减少过估计对移动机器人动作选择的影响。(2)为解决路径规划训练过程中重要样本的训练不充分性问题,提出基于排序的优先回放机制,使得重要样本被回放的概率增大,对重要样本进行充分的训练,来提高网络参数的效率以及移动机器人的学习效率。(3)为保证仿真实验的充分性,设计在栅格环境下的简单环境、复杂环境以及随机环境中对算法的性能进行了验证。在简单环境和复杂环境下,IDDQN算法相比于其他算法能够规划出长度更短、拐点更少的路径,与DDQN、DQN算法相比,IDDQN算法减少了移动机器人训练过程中碰撞障碍物的次数,体现出IDDQN算法的优越性及有效性。而随后的随机实验结果中的成功率及路径长度差则证明了IDDQN算法具有更强的鲁棒性。(4)为更加接近现实环境,对ROS系统中Turtlebot机器人进行建模,并在Gazebo环境中进行实验仿真,实验结果展示了IDDQN算法在累计奖赏值和平均奖赏值方面的优越性。两组实验结果表明,与其他基准算法相比,IDDQN算法在移动机器人路径规划的任务中都能获得更高的奖赏值,并做出更优的决策。
其他文献
极限学习机(ELM)作为一种简单易行且有效的单隐层前馈神经网络,只需设置网络的隐含层节点个数,随机选取输入参数,就可以产生唯一的最优解,具有学习速度快且泛化性能好的优点,并备受关注。然而当数据维度高且混入大量的噪声变量时,ELM不能达到理想的效果。因此,深度极限学习机(D-ELM)结合深度学习优点对隐含层进行扩充以弥补其不足。为进一步提高深度极限学习机的性能,本文融合多核学习和进化计算方法,提出一
由于纯电动汽车结构简单、能源利用率高、零排放等优点,在排放法规日益严格的今天中备受期待。现有的测试方法不能真实准确的反映纯电动汽车在实际使用过程中的性能,因此研究纯电动汽车在实际交通状况中性能表现具有十分重要意义。本文以六款国产纯电动汽车为试验对象,研究了纯电动汽车实际道路中的性能表现,并深入分析了季节、空调、交通状况等对纯电动汽车能耗的影响程度,讨论了纯电动汽车的续航里程估计准确度、主观性能和耐
工业机器人作为智能制造装备的重要装备之一,具有功能多、速度快、精度高等特点,已经广泛应用于各个领域,典型的应用领域包括:装配、焊接、喷涂和搬运等。为了保证产品质量,提高生产效率,保障生产安全,工业机器人的定位精度水平成为了学者们和工程师们共同关心的问题。目前,工业机器人的重复定位精度较高,而绝对定位精度普遍较低。影响其绝对定位精度的因素包括生产过程中的误差、装配过程中的误差、关键零部件的磨损和作业
楼宇换热站供热系统规模小调节针对性强,可根据供热需求及时调整运行参数,易于实现按需供热。但在实际运行中,仍存在依靠经验来调节的现象,现行调节模式比较粗放,导致一天内部分时刻出现过量供热的问题,使预期供热效果无法有效实现,造成严重能源浪费,因此寻求科学合理的运行调节模式,提高供热质量迫在眉睫,本文具体研究内容如下:首先,通过对承德市一楼宇换热站供热系统进行实地调研,了解到目前楼宇站供热系统的运行状况
微型钢管桩由于其优良的工程特性而广泛应用于工程中,对于中小跨径桥梁,且伴随施工作业面积狭小,地处人口密集区,要求对周边环境不产生较大干扰等问题,微型钢管桩基础的优点明显。为了深入的了解微型钢管灌注桩的受力特点,本课题就注浆微型钢管桩桩体的受力性能以及微型钢管桩用于中小跨径桥梁基础的受力性能开展研究,其研究成果对微型钢管桩的施工与设计有指导意义。本文首先通过室内轴压试验和数值模拟对比验证,综合分析轴
间歇过程是现代工业生产的一个重要环节,由于该过程具有小批量、多品种、短周期等优点,已被广泛应用于机械制造、食品加工、化工能源、电气制造等国民经济生产的重要行业。在间歇生产过程中存在很多扰动因素会影响产品质量和生产效率,因此对间歇生产过程的故障检测以及故障预测显得至关重要。本文以青霉素发酵过程的间歇生产过程为背景,针对当前方法子时间段划分不精确、处理高阶非高斯数据效果不佳、无法对发生故障后的检测指标
近年来,我国室内装修污染、食品安全、饮水安全等一系列问题严重影响了人们的健康生活,面对这种形势,国家出台《“健康中国2030”规划纲要》,明确提出推进健康中国建设。健康建筑是健康中国的重要载体,同时也是提高人们健康水平的重要途径。随着人们生活水平的提高和建筑技术的进步,我国现行的《健康建筑评价标准》应继续完善以更好的指导健康建筑的进一步发展。美国WELL建筑标准作为国际上认可度较高的健康建筑评价标
下肢外骨骼是一种可穿戴智能设备,为穿戴者下肢动作提供辅助,增进其运动机能。为了减轻机构重量,提高助力效果,设计带有能量回收装置的下肢外骨骼,收集人体下肢动能,利用电机辅助能量释放,对穿戴者目标关节进行助力。为减小机构动作带来的干扰,进行了下肢外骨骼控制方法研究,并对外骨骼的主要参数对其工作效果的影响进行了研究。主要工作如下:(1)基于人体下肢动力学分析的下肢外骨骼设计建立下肢动力学模型,结合人体步
随着计算机科学和三维扫描技术的快速发展,点云数据的应用范围越来越广。然而在获取点云数据的过程中,由于受到外界环境、人为操作、物体材质和设备精度等的影响,获取的点云模型经常混入噪声,严重破坏了模型的几何特征,给模型的封装和检测带来了不良影响。因此,为获得较好的三维模型,需要对点云数据进行去噪处理。针对在点云去噪过程中不同尺度噪声难以同时去除的问题,结合现有的去噪算法,本文将点云噪声分为大尺度噪声与小
工程应用上的金属材料通常是多晶或多相材料,其内部包含大量界面结构。研究表明这些界面微结构的演化会严重影响金属材料的力学性能。随着模拟方法和计算机技术的发展,大规模分子动力学模拟已成为研究金属材料中微结构演化规律的重要方法。本文采用分子动力学方法研究了双晶Cu中的扭转晶界、双相Cu/Al中的异质界面、单晶Cu纳米线的外表面对其变形机理及力学性能的影响,具体研究结果如下:对双晶Cu中扭转角度晶界对其变