基于深度强化学习的AGV路径规划

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:jieminglin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中国制造向中国智造的改革转变带动了智慧物流系统和智能仓储系统的发展,自动导航车(Automated Guided Vehicle,AGV)作为离散制造工厂和智能仓储系统的重要传送带,担任了运输的任务。在离散制造工厂中,作为主要操作对象的物料是整体运作和管理的中心,物料的物流过程也是影响整体生产效率的关键过程,自动化、智能化的路径规划可以极大提高物流的效率,从而提高企业生产的整体效率。因此,对AGV路径规划技术的研究是对离散制造柔性生产线和仓储系统智能化改造为现代化工业的必要支持。目前,AGV的主要导航方式是通过提前布局好路线的电磁、视觉等导航方式,此类导航方式极大限制了AGV的灵活性。为了提高AGV在复杂未知环境中路径规划的灵活性和自适应能力,本文主要研究基于深度强化学习(Deep Reinforcement Learning,DRL)的AGV路径规划方法,该方法实现AGV的多模态传感器信息的智能感知、动作选择的智能决策的端到端路径规划。本文的主要研究内容如下:(1)进行AGV路径规划问题的马尔可夫决策过程(Markov Decision Process,MDP)描述并搭建智能仓储仿真环境。从状态空间、动作空间和奖励函数进行AGV路径规划问题的MDP描述,应用ROS和Gazebo搭建智能仓储仿真环境的实验平台;(2)设计基于Dueling DDQN-PER的AGV路径规划方法,包括多模态传感器信息处理的神经网络结构和实现环境信息到动作映射的端到端路径规划方法流程,该方法引入了全局路径规划预训练策略,从而提高了AGV在复杂环境中进行路径规划训练的速度;(3)进行由简单到复杂的三组AGV路径规划实验,第一组实验对比分析DQN改进方法的性能,第二组实验对比分析基于DRL方法和RRT的路径规划性能,第三组实验验证基于DRL的AGV路径规划方法在复杂环境下的自适应能力。三组实验结果表明,基于DRL的AGV路径规划方法在复杂未知的环境中具有较高的路径规划成功率与较好的路径规划结果,这说明该方法在复杂未知环境中具有可行性,且具有较好的自适应能力。
其他文献
密码技术在当下信息安全形势不断严峻的背景下,仍担任着非常关键的角色。目前,根据密钥的数量和使用方法的差异,密码算法主要被分成非对称密码算法和对称密码算法,前者在加解密过程中分别使用私钥和公钥,后者则使用同一种密钥。AES和SM4算法是当下主流的对称密码算法,在信息传输方面有较高的安全性。传统的密码算法大都通过软件方法来实现,这种方法占用资源较多,运算效率低,安全性也不足。而硬件方法拥有更高的运算效
光伏发电输出特性易受外部环境改变影响,具有非线性、间歇性等特点。为提高太阳能的利用率,需要对非线性的光伏输出进行最大功率点跟踪(Maximum Power Point Tracking,MPPT)控制。另外,光伏的输出电压较低,需利用高增益DC-DC升压变换器作为升压接口以实现并网。在现有的变换器技术中,单级多单元(Single-stage Multicell,SSMC)高增益DC-DC电能变换器
随着电力产业的快速发展,输电铁塔的建设已遍布全国各地,给人民的生产生活带来了极大的便利。当前国家大力推行的生态优先、绿色发展之路,不仅造福了人类,而且鸟类的栖息环境也受到有效的保护,日益增多的鸟类在输电铁塔上驻留、排便和安家等行为给配电线路的正常运行造成了巨大的威胁。针对这一问题,电网运维工作者和相关专家提出了多种解决方案,如安装防鸟刺和智能驱鸟器来防止害鸟在杆塔周边活动。这些方案虽然可以在一定程
随着科学技术的高速发展,精密工程技术所涉及的领域越来越广泛,包括微电子技术,纳米技术,精密加工技术,航空航天技术等领域,因此,国内外对系统的精密定位,控制方法以及系统稳定性等方面也提出了相对较高的要求。本文主要根据音圈电机的自动定位来实现镜头的自动对焦进行研究及分析。首先设计音圈电机的高精密微定位平台,该平台设计可以实现手动和自动两种对焦方式,可扩展性较强。应用伺服控制方式进行音圈电机驱动设计,有
当今社会,能源短缺及环境恶化问题日益严重,新型可再生清洁能源的开发已势在必行。作为一种清洁可再生能源,氢能是代替化石能源的最佳选择之一。电解水制氢作为一种绿色的制氢途径得到广泛研究,然而水分解的两个半反应——析氢反应(hydrogen evolution reaction,HER)和析氧反应(oxygen evolution reaction,OER)自身存在较高反应能垒,缓慢的动力学过程使得实际
人工智能的蓬勃发展不仅给各行各业带来了深刻的变革,相关的技术也逐渐应用到人们生活的方方面面。多智能体系统作为人工智能重要技术组成之一,也受到了学界越来越多的关注。早期相关研究多着重于单智能体路径规划,或者环境已知且场景相对简单的多智能体路径规划。现在应用场景的复杂性和多变性,对多智能体系统的决策能力和路径规划的效果有了更高的要求。即便在环境简单且已知的场景,传统方法对于路径规划的求解效率也不是很高
在当今我国经济不断发展的大环境下,城市的基础建设得到了大量的投入,更多的城市已经拥有了一套完善的地铁线路网络,带动了城市各区域的人流往来和经济互动,有效地缓解了地面交通压力。与此同时,更多的人们在选择出行的方式中倾向于地铁这种便利且快速的交通方式,但随着地铁线路网络的不断扩张以及地铁站内空间结构不断复杂化,用户在室内无法使用GPS定位服务的情况下,对地铁站内的空间布局依然处于传统指示牌引导的目测阶
本文主要考虑的问题是协作机械臂在控制过程中如何有效、灵活的进行人机协作并完成避障,因其特点,本文主要考虑的协作机械臂工作场景为协作小型货物搬运、辅助工具拾取和装配器件辅助拾取等,其具有需求精度低、灵活度高等特点。本文的目标是通过在仿真环境下的训练得到深度强化学习模型,用其代替协作机械臂控制算法的决策避障功能,取机械臂的末端位置动作为强化学习智能体的动作,取机械臂的人机交互物理信息为强化学习的环境状
短视频的制作与分享随着移动互联网的飞速发展而变得更加的便捷。目前短视频制作与分享已经进入了黄金发展时期,每天都会有无数的视频被生产和传播。然而,短视频的快速发展在给人们带来好处的同时,也给相关监管工作来了很大的挑战。如何管理这些海量视频,已成为当前面临的重大挑战。庆幸的是,视频分类技术为有效管理海量视频带来了曙光,也因此受到了越来越多的科研人员的关注。深度神经网络具备的强大拟合能力,使其不仅在越来
侧信道攻击技术已经作为密码学研究领域密切的关注点和重要分支,功耗分析攻击技术已经成为侧信道攻击技术中最常用的攻击方法之一,通过物理通道利用辅助的设备对正在执行的密码算法或安全设备等进行功耗的采集,分析功耗曲线的相关信息来获取我们需要的关键信息。与电磁辐射攻击、错误攻击、时序攻击、模板攻击、缓存等攻击方式相比较,侧信道功耗分析攻击具有实现简单、攻击效果明显和易于分析等特点,因此侧信道功耗攻击技术受到