【摘 要】
：
随着无人机技术的迅猛发展,无人机已被广泛应用到人类生产生活中。如何方便快捷简单地与无人机进行交互成为了当前研究的一个热点。与无人机进行人机交互的方式有很多种,比如语音交互、人体姿态交互、人脸交互以及手势交互等,其中手势交互具有自然、方便、直观的特点,更适合用来与无人机进行交互。从应用领域方面来看,手势与无人机的交互在无人机的起飞降落、位置调整、视觉跟踪等方面有着重大的应用价值。本文设计了一个人机交
论文部分内容阅读
随着无人机技术的迅猛发展,无人机已被广泛应用到人类生产生活中。如何方便快捷简单地与无人机进行交互成为了当前研究的一个热点。与无人机进行人机交互的方式有很多种,比如语音交互、人体姿态交互、人脸交互以及手势交互等,其中手势交互具有自然、方便、直观的特点,更适合用来与无人机进行交互。从应用领域方面来看,手势与无人机的交互在无人机的起飞降落、位置调整、视觉跟踪等方面有着重大的应用价值。本文设计了一个人机交互系统,首先通过处理器运行手势识别算法,然后对单目相机获取的视频流进行识别并输出手势的分类和定位信息,最后将分类结果转换成指令与无人机进行交互。由于环境复杂、手势多样化、嵌入式设备计算力不足,严重影响了手势识别的准确率和速度。针对上述问题,本文通过改进手势识别算法来提高手势识别准确率和速度,并且基于该算法设计出手势控制无人机的交互系统。本文的主要内容和贡献如下:（1）提出了一个与无人机进行交互的方案,通过手势识别算法识别手势,然后生成指令并传输至无人机,控制其飞行状态。此外,针对手势识别算法模型的训练和测试,构建了13464张手势图片数据集。（2）针对YOLOv3算法识别精度不高的问题,做出了算法上的改进。通过应用线性拉伸锚框（Linear Stretching Anchors,LSA）的方式,以及提出可调反正切线性单元（Adjustable-arctangent Linear Units,ALU）,来提升手势识别的准确率。经过仿真,相比YOLOv3算法,应用LSA和ALU激活函数可以将手势识别的m AP值分别提高5.8%和14.8%。（3）由于无人机上搭载的处理器的计算力有限,因此提出了一种轻量级神经网络架构（Lightweight Neural Network Architecture,LNNA）来提高手势识别的速度。经过仿真,LNNA在2080 TI GPU上的处理速度相比YOLOv3提高了48.9%,在NVIDIA Jetson TX2上的图片处理速度从原来的每秒1.83帧提高到了每秒11.67帧。与此同时,为了充分验证LSA和ALU的有效性,在LNNA网络架构上进行仿真,应用LSA以及ALU激活函数可以将m AP值分别提高9.9%和20.5%。（4）将LNNA网络移植到两种不同款式的大疆无人机上进行人机交互实验。首先基于Tello无人机开发出可视化界面系统。该系统可以方便地显示手势识别信息以及指令信息并且发送指令至无人机。其次基于M210v2无人机进行室外飞行实验。整个飞行实验通过ROS系统进行。通过实验分析,在近距离范围内,手势可以与无人机进行很好的交互。
其他文献
本文主要考虑的问题是协作机械臂在控制过程中如何有效、灵活的进行人机协作并完成避障,因其特点,本文主要考虑的协作机械臂工作场景为协作小型货物搬运、辅助工具拾取和装配器件辅助拾取等,其具有需求精度低、灵活度高等特点。本文的目标是通过在仿真环境下的训练得到深度强化学习模型,用其代替协作机械臂控制算法的决策避障功能,取机械臂的末端位置动作为强化学习智能体的动作,取机械臂的人机交互物理信息为强化学习的环境状
短视频的制作与分享随着移动互联网的飞速发展而变得更加的便捷。目前短视频制作与分享已经进入了黄金发展时期,每天都会有无数的视频被生产和传播。然而,短视频的快速发展在给人们带来好处的同时,也给相关监管工作来了很大的挑战。如何管理这些海量视频,已成为当前面临的重大挑战。庆幸的是,视频分类技术为有效管理海量视频带来了曙光,也因此受到了越来越多的科研人员的关注。深度神经网络具备的强大拟合能力,使其不仅在越来
侧信道攻击技术已经作为密码学研究领域密切的关注点和重要分支,功耗分析攻击技术已经成为侧信道攻击技术中最常用的攻击方法之一,通过物理通道利用辅助的设备对正在执行的密码算法或安全设备等进行功耗的采集,分析功耗曲线的相关信息来获取我们需要的关键信息。与电磁辐射攻击、错误攻击、时序攻击、模板攻击、缓存等攻击方式相比较,侧信道功耗分析攻击具有实现简单、攻击效果明显和易于分析等特点,因此侧信道功耗攻击技术受到
中国制造向中国智造的改革转变带动了智慧物流系统和智能仓储系统的发展,自动导航车（Automated Guided Vehicle,AGV）作为离散制造工厂和智能仓储系统的重要传送带,担任了运输的任务。在离散制造工厂中,作为主要操作对象的物料是整体运作和管理的中心,物料的物流过程也是影响整体生产效率的关键过程,自动化、智能化的路径规划可以极大提高物流的效率,从而提高企业生产的整体效率。因此,对AGV
随着半导体与人工智能技术的飞速发展,自动驾驶成为了目前学术界与工业界的研究热点之一。自动驾驶汽车只有对周围环境有着精准的感知,才能够稳定可靠地运行。目标检测是自动驾驶系统感知模块的核心功能,通常人们采用二维的目标检测,即根据图像信息预测出物体的位置与类别。然而,二维的目标检测不能提供准确的深度信息,即距离等信息,而这却是自动驾驶系统中路径规划、障碍物避让等模块所必须的。激光雷达点云能够提供十分精准
随着深度学习、车联网边缘计算和5G通信技术的高速发展,自动驾驶正成为未来十年影响汽车行业的关键技术。传感器是自动驾驶系统感知外界环境的媒介,传感器之间的协同性和互补性是进一步提高自动驾驶安全性的关键。近年来,多传感器融合技术得到越来越多的关注,其中点云融合方法在三维目标检测和地图构建上的应用也逐渐增多。车联网边缘计算技术旨在赋予车辆边缘节点更强大的信息处理能力与内容传输能力,为车载应用提供更高效、
本文基于已经研制出的飞行仿人机器人原理样机,设计出一套实时嵌入式控制系统,实现飞行仿人机器人的闭环控制功能。首先,通过分析目前国内外机器人嵌入式系统设计的现状,分析得出目前主流机器人嵌入式系统具备三大特点,分别是无缆化、分布式结构以及良好的实时性。其次,结合原理样机的实时性仿真结果、硬件结构、功能需求以及主流机器人嵌入式系统设计特点,实现设计指标、硬件方案以及软件方案的制定。在设计指标层面上,根据
在深度学习和计算机技术日益发展的今天,基于深度学习的车辆目标检测算法在速度和精度上都比传统方法有着非常大的提升。但如今的车辆目标检测算法基本上还是基于边框的检测算法,有着算法复杂、计算资源高、量级参数等的问题,还有很大的提升空间。所以,如何能够简化算法的框架、降低参数量以及消除冗余计算成为了一项具有挑战性的工作。本文研究了基于热力图的车辆目标检测方法和加权特征融合方法,并且对深度聚合网络DLA-3
机器人在形如震后这种极端环境中执行探测、求援等任务时,由于震后环境的不确定性,会出现大型障碍物或者沟壑,此时机器人是否具备越障能力尤为重要。针对越障能力的提高,本文从动态越障入手,提出了基于涵道推进系统的双足机器人的规划方法和全身控制器。主要内容如下:（1）通过分析基于涵道推进系统的双足机器人动力学方程,给出动态越障的定义。（2）提出合理假设和推导带有涵道推进系统的双足机器人平衡模型,并得到基于此
智能化生活已经到来,机器人的发展也会愈发蓬勃,实现的的功能也来愈加强大且复杂,放眼全球,各类机器人层出不穷的出现在生活的方方面面,有聊天类的客服类机器人,有在生产线上不知疲倦工作的机器人,更有极少数高端的手术机器人等等,上至月球挖土,下至深海寻宝,它们给人们提供各色各样便利的服务。十四五规划提出了要加强老年人社会保障,以人为本,在复杂的社会多元化情况下,为老年人提供个性化服务保障老年人生活的质量。