【摘 要】
:
为解决空域日益拥堵、空中交通流量日益增加等问题,美国联邦航空管理局提出了自由飞行的概念。伴随该概念的提出,空中交通管制问题变得尤为复杂。随着我国民用航空运输事业的蓬勃发展及民航运输需求日益增加,为保证自由飞行条件下飞行器的安全,进行飞行冲突解脱策略的研究显得十分重要。现有飞行冲突解脱方法包括最优控制类冲突解脱方法、概率类冲突解脱方法以及数学规划类冲突解脱方法,这些传统冲突解脱方法存在着效率较低、计
论文部分内容阅读
为解决空域日益拥堵、空中交通流量日益增加等问题,美国联邦航空管理局提出了自由飞行的概念。伴随该概念的提出,空中交通管制问题变得尤为复杂。随着我国民用航空运输事业的蓬勃发展及民航运输需求日益增加,为保证自由飞行条件下飞行器的安全,进行飞行冲突解脱策略的研究显得十分重要。现有飞行冲突解脱方法包括最优控制类冲突解脱方法、概率类冲突解脱方法以及数学规划类冲突解脱方法,这些传统冲突解脱方法存在着效率较低、计算量过大、实时性较差等问题。针对上述问题,本文利用深度强化学习在解决序贯决策问题上的优势,将深度强化学习与飞行冲突解脱任务相结合,提出基于深度强化学习的飞行冲突解脱方法。本文主要研究内容如下:(1)针对传统冲突解脱方法效率较低、计算量过大等问题,再结合多架飞行器进行冲突解脱时具有的连续状态空间和连续动作空间特点,分别将深度强化学习算法DDPG(Deep Deterministic Policy Gradient)与SAC(Soft Actor-Critic)应用于一次航向偏转飞行冲突解脱任务中,并进行仿真实验。通过分析飞行器飞行过程中的几何构型,搭建本文实验所需仿真环境,并结合一次航向偏转的飞行冲突解脱任务特点,设计空域外飞机的状态空间、动作空间以及考虑航向偏转的奖励函数。为解决DDPG算法在仿真实验中收敛速度较慢的问题,本文从采样策略出发,将传统DDPG算法与优先经验回放的采样方式相结合,提出改进DDPG算法,以提升收敛速度。实验结果表明,相较于DDPG算法,改进DDPG算法的收敛速度更快。同时,比较改进DDPG算法和SAC算法在一次航向偏转飞行冲突解脱任务中的优劣,结果表明,二者的偏转角度和解脱时间均表现优异。最后,将改进DDPG算法与基于混合整数线性规划(Mixed-integer Linear Programming,MILP)的传统飞行冲突解脱算法进行对比,结果表明,改进DDPG算法与MILP算法偏转度数均较小,且改进DDPG算法的解脱时间更少。(2)为进一步优化飞行冲突解脱轨迹,将一次航向偏转的飞行冲突解脱策略拓展至多次航向偏转。本文分别将改进DDPG算法和SAC算法应用于多次航向偏转飞行冲突解脱任务中,并进行仿真实验。首先,考虑多次航向偏转冲突解脱任务的特点,设计了新的状态空间和动作空间,具体来讲,在状态空间中增添了飞行器坐标,在动作空间中增添飞机在空域内的航向角偏转约束。其次,根据多次航向偏转冲突解脱任务的要求,从航向角偏转度数和距目的地之间的距离这两个维度设计奖励重塑函数,将其与稀疏奖励方式设计奖励函数进行对比,分析二者在训练结果和训练效率上的差异,总结了多次航向偏转飞行冲突解脱任务中奖励函数设计思路,提升算法的训练效率和解脱轨迹质量。接着,通过对比不同取值的学习率在训练结果和训练效率上的不同,确定该解脱任务中SAC算法学习率取值。最后,将改进DDPG算法与SAC算法的仿真实验结果进行对比,结果表明,两种算法均能有效进行冲突解脱,改进DDPG算法具有更小的偏转角度和更少的解脱时间,SAC算法具有更好的稳定性以及较短的解脱轨迹。
其他文献
近年来,随着互联网和移动终端的迅速发展,各大互联网公司为抢占有限的用户资源,推销自己产品和服务,纷纷采用各种推荐算法进行信息或物品推荐。序列推荐算法作为推荐算法领域的子领域,在电商购物平台应用尤其广泛。序列推荐算法的主要任务是通过用户与平台的交互序列,得到当前序列偏好,进而预测用户下一次可能交互的物品,提供给用户合适的推荐列表。当前,研究人员开始将门控图神经网络应用于序列推荐当中,但是现有研究工作
BP神经网络(BPNN)被广泛称为现阶段最受欢迎的神经网络之一,它是一种监督式学习的网络[1]。BPNN通过学习训练样本输入和输出的关系进行建模,它对网络权重进行连续调整,以达到减小预测值和真实值差异的作用。它只需要较少的计算和训练,就能隐式检测因变量和自变量间的关联[2],从而计算变量间的复杂关系,对不可见数据进行良好的泛化和预测。但随着大规模数据集在各行业的出现,BPNN逐渐暴露出缺陷与不足,
意图识别任务本质上属于自然语言处理中的文本分类任务。意图识别任务按场景可分为口语意图识别和文本意图识别。口语意图识别使用语音识别输出的文本作为输入,因此口语意图识别的准确率会受到语音识别准确率的影响。通常,语音识别的准确率会受到环境噪声的影响,一般采用语音增强和语音降噪可以解决大部分问题。然而说话人口语表述方式的多样性以及每个人发音的独特性使得语音识别系统的识别内容距离用户的真实表述内容还存在一定
随着神经网络算法的不断发展和突破,神经网络算法越来越广泛的被应用在图像识别,自动驾驶,语音识别等诸多领域。卷积神经网络是从人工神经网络中派生出来的一种神经网络,它非常适合于图像的平移,比例的缩放等形式的图像变化操作。一方面,在卷积神经网络前向推理计算过程中,存在着复杂计算和高带宽访存的问题,使用通用处理器平台实现深层卷积神经网络前向推理计算过程的方法,无法保证提供足够的计算能力。另一方面,尽管使用
随着计算机图形学技术的蓬勃发展,越来越多的虚拟现实产品被运用到军事、航空、航天和娱乐领域,为这些领域的生活生产带来极大的便利。而基于沉浸式投影系统的虚拟现实技术由于其成本低、沉浸感强、空间显示范围广和适用性强等优势,得到了越来越广泛的研究和运用。这类虚拟现实系统一般由投影仪和投影屏幕构成,为了提升虚拟现实场景的沉浸性和真实性,常常采用曲面形式的投影屏幕。目前,基于沉浸式投影系统的虚拟现实技术有着广
近年来,随着通信技术的高速发展和移动终端设备的大量普及,人们越来越依赖移动设备进行工作和生活,移动应用程序也就变得越发重要。对于移动应用程序(Application,App)开发方来说,要想让App在充斥着大量同类产品的应用市场中脱颖而出,就必须使其具备丰富的图形用户界面(Graphical User Interface,GUI)和令人愉悦的用户体验(User Experience,UX)。那么如
深度学习是自动驾驶,人脸识别,生物医学图像处理以及机器人视觉等研究领域的突破性技术。虽然基于深度学习的神经网络模型以及相应的训练算法在许多大型的公开数据集中都有显著的表现,但是其往往都受限于昂贵的硬件设备,而无法应用在类似手机这种小型的设备中。知识蒸馏可以通过以学生网络学习教师网络的方式,使小规模的神经网络也能有着和大规模网络相似的效果,它相对于其他的模型压缩算法适用场景更加广泛。因此,本文重点研
当下,二维人脸识别已广泛应用于生活中,如刷脸支付、考勤管理等,但其存在防伪性差、误识率高等缺点。故人脸识别的研究重心逐渐转向三维人脸识别,其关键基础在于三维人脸模型的采集。其中,基于双目视觉的三维采集由于建模速度快、精度高成为该领域的热点,包含被动测量和主动测量。前者在自然光源下捕获目标图像,通过匹配立体图像中对应的点以恢复三维信息,如何提高立体匹配的精度是其中的关键。然而,被动三维测量难以满足高
近年来随着深度学习、计算机视觉技术的迅速发展,室内智能小车被广泛应用在社会生产生活中的多个领域,并逐渐形成了以激光雷达为主、多种感知设备共同协作的室内感知控制方案。单线激光雷达凭借其结构简单、成本低、精确度高、稳定性好等特点广泛应用于室内机器人感知系统中。单线激光雷达感知虽然可以有效的进行地图构建和定位,但是导航过程中单线激光雷达仅能获取单一平面稀疏激光点云,对非扫描平面障碍物感知不足与非均匀刚体
步态识别作为一种新兴的生物特征识别技术引起了广泛的关注和研究。与传统的生物特征识别技术相比,其难以伪装,具有非接触性、隐蔽性等特点,逐步在安防,医疗等领域中发挥了重要的作用。然而在实际场景中,遮挡或者携带物都会改变行人的行走特征,并且拍摄视角的变化也会改变行人轮廓的形状,从而影响识别结果。本文针对现有的步态识别方法在多个不同视角下的识别率不高问题,使用深度学习技术来展开研究。本文主要工作及创新点如