基于HI3518E的人形机器人动态交互

来源 :汕头大学 | 被引量 : 0次 | 上传用户:liufendou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在集成电路、5G通信、嵌入式等高新技术领域飞速发展的背景下,人形机器人的人机交互对于特定的工作环境、特殊的服务人群具有重要的现实意义,具有高可靠性、低成本性、易用性的可动态交互的人形机器人已成为目前的研究热点。在日益严峻的国际竞争格局下,产业链国产化已经成为了国家的发展战略,开源、系统自主已经成为了企业追求的目标。海思作为国内的头部芯片厂商,在我国的芯片自产进程中起到了关键作用,其产品的研发和应用打破了国外的封锁和垄断,对我国的产业自有化发展有着重要意义。论文以人机交互为出发点,采用基于ARM架构的海思硬件平台,结合Linux软件操作系统以及其他硬件模块、开源软件资源等,实现了人形机器人对人体动作的实时反应和模仿功能。论文的主要内容包括:(1)构建一个满足基本功能的视频交互系统。将嵌入式Linux软件操作系统、海思媒体处理软件平台(MPP:Media Process Platform)以及其它开源软件资源移植到以ARM为架构的HI3518E作为核心硬件的主控中,并驱动相应的外部设备。具体包括Boot、Kernel、Rootfs、海思SDK以及Linux系统下的设备驱动开发等内容。(2)开发一套人体关节点处理系统。利用海思SDK,对视频输入(VI:Video Input)、视频处理(VPSS:Video Process Sub-System)以及视频编码(VENC:Video Encode)等进行二次开发,搭建了一个可传输H.264码流的视频采集传输系统,实时解码分析H.264视频码流;利用Openpose获取人体关节点信息数据,并转化成人形机器人控制所需角度数据,再利用串口或蓝牙模块将角度信息数据发送给人形机器人。具体包括H.264的关键性技术、码流结构、RTP/RTSP网络传输协议以及逆运动学原理等。(3)适配开发了人型机器人控制系统。人形机器人采用韩端科技(深圳)有限公司的少年派机器人,实现了FreeRTOS系统内核的移植,利用18个伺服舵机来模拟人体的关节点,采用串口或者蓝牙接收指令数据。经过调试,机器人的主控根据获取的数据,能够实时控制人形机器人的动作,实现实时交互的目的。论文工作最终实现了一套完整的人形机器人实时交互系统,可以完成对视频采集到的人体动作进行实时捕捉、模仿和反应,具有一定的实际应用价值,并为海思生态系统提供了一套完整的低成本人机交互解决方案。
其他文献
2019年人民教育出版社发行了新版的高中生物学教材,新教材在内容、栏目、图片和习题等方面均进行重新编排。文章以“细胞中的无机物”一节为例,将2019年版教材和2004年版教材进行对比分析,主要从章节编排、课标要求、栏目设置等方面进行比较分析,同时明确了新教材的亮点和蕴含的教学启示,以期为教师更好实现教学目标以及学生更好地使用教材提供参考。
发展银发经济不仅市场空间潜力巨大,也是解决养老难这一时代考题的重要途径。亚太发达国家银发经济发展起步早,已建立起较为成熟的市场体系,在做强老年用品品牌、打造银发旅游新模式、深挖银发康养消费潜力、构建银发经济发展平台等方面,其发展模式及先进经验对中国具有启示作用。
近年来,在我国国家政策的倡导下,商业保理行业进入了快速发展阶段,无论是主体数量还是业务规模都有了显著提升。基于所签订的保理协议,供应商和金融保理方形成一整套金融方案,其中包含融资业务、信用风险管理、应收账款催收和管理等,这就构成了商业保理。商业保理在我国贸易发展中占据着重要地位。银行保理业务主要面对中大型企业开放,然而中小型企业仍然占据着市场大部分,无法满足众多中小企业融资需求,并陷入融资难、融资
身份隐匿性是大学生网络舆情最重要的特性之一,也是使大学生网络舆情更加复杂、多元、丰富和冲突的根本所在。高校思想政治教育应该重视网络虚拟、身份隐匿情况下大学生思想和行为特征,提高硬件水平,完善规章制度,创新方式举措,积极引导、科学应对、有效出击,完成新时代育人使命。
粤港澳大湾区建设是近年来国家重要的发展战略,发展粤港澳大湾区的关键一步是发展教育。作为转变传统学习的一种新型学习方式,深度学习运用在幼儿结构游戏中将凸显出哺育价值、激活价值与内驱价值等价值意蕴。传统幼儿结构游戏面临着幼儿结构游戏场域的悬置、幼儿教师游戏素养的匮乏、幼儿主体游戏意识的迷失等现实羁绊。为此,大湾区建设背景下需要从建设立体结构游戏场域、提升幼儿教师游戏素养、培养幼儿主体游戏意识等维度进行
中国共产党在伟大斗争中诞生并发展壮大,面对世界百年未有之大变局,面对新时代的矛盾问题、风险挑战大局,面对中华民族伟大复兴战略全局,进行伟大事业、实现伟大梦想、建设伟大工程必须进行伟大斗争。新时代进行伟大斗争首先需要厘清"为谁斗""谁领导""斗什么""怎么斗"这四个基本问题,通过历史与逻辑的统一,更好进行新时代伟大斗争。