基于人体骨架的行为理解及其在远程人机交互系统的应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:tao009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体骨架提取和行为理解在人机交互、人工智能和康复医疗等领域中具有重要的研究价值与应用前景。人体骨架可以有效地表述人体的姿态与运动,为人体行为理解提供有力的支撑。但由于人体形态不同且运动多变,会出现自遮挡问题并导致人体骨架提取困难,另外如何有效地从人体运动过程中提取特征对人体行为进行理解也是一个难点。本文针对以上问题,提出了基于模型拟合的人体骨架提取方法,同时使用人体骨架实现对人体的行为理解,并将其应用于远程人机交互系统和康复训练中。针对人体骨架提取中因人体运动变化所导致的自遮挡问题,以及传统的2D细化算法无法有效地解决人体自遮挡问题,存在人体骨架曲线出现部分缺失的缺点,本文提出了自适应分割算法和多层2.5D细化算法。该方法将深度图像分割与细化算法相结合,弥补了传统细化算法检测缺失的不足,并有效地解决了自遮挡区域人体骨架曲线提取的问题,提升了检测结果的鲁棒性。针对于人体姿态多变不易提取人体骨架的问题,本文定义了基于树形结构的标准骨架模型,将各个骨骼关节点间的相互作用关系使用运动链进行表示。同时本文定义了8种姿态匹配模板,并结合细化线线上距离检测外、内部拟合基准点,最后将标准骨架模型拟合到图像中并检测出完整的人体骨架。另外,针对于人体行为多变不易进行解析与理解的问题,本文基于骨架信息并结合循环神经网络构建行为理解模型,实现了对骨骼运动序列的编码与特征提取。为了验证算法的准确度,本文在Stanford数据库以及自行采集并标注的UESTC-SE数据库上分别进行了人体骨架提取实验的对比与分析,证明该算法可以达到90%的检测准确度和0.023帧/秒的实时处理速度,比同类算法的运行速度提升了10倍。同时在MSRDaily3D数据库上进行行为理解实验,并取得了87%的识别率验证了算法的有效性。本文设计并开发了基于虚拟机器人的远程人机交互系统,通过虚拟机器人作为交互的可视媒介,并将其与下肢康复外骨骼机器人相结合,通过人体骨架的提取和对人体行为的理解,实现了远程康复训练的模式,在提高康复训练效率的同时也增加了训练过程的趣味性。
其他文献
世界航天大国纷纷计划要在月球建立基地,而充气膜结构所具有的轻质、高强特点,使之应用于月球基地成为可能.在分析月球上膜结构的特点基础上,用ANSYS软件建模,对构想的几种球
语文教学应注意听说读写的相互联系,注重语文与生活的融合。语文教学的特点决定了语文教学必须密切联系生活实际,贴近生活,在大量生活的情境中学习语言文字,才能把语文学“活
由两个金属面层与塑料泡沫芯层组合的夹芯板,是不同材料最佳利用的组合构件,其结构设计不同于传统的建筑构件.分析了夹芯板的结构特性,讨论了其破坏模式,供实际设计参考.
民粹主义在全球范围内兴起已成为一种重要的政治现象。民粹主义的兴起有政治、经济、文化心理与社会等诸多方面的原因。经济衰退和经济转型常常会引发民粹主义;民粹主义的兴
粘接作为一种重要的连接方式,在结构加固中已经得到较广泛的应用.为研究粘接连接钢结构构件的力学性能,进行了一系列试验,包括5个轴心受压短柱,5个压弯柱,1根梁.介绍了试验方
近年来,高中语文阅读教学逐渐失衡,以教师为主导,以考点为核心,以讲评为手段的单篇阅读教学占据了整个阅读教学江山。当然,单篇教学在现在的教学情况下是很必要,也是不可少的
在线计算火电机组的相对内效率时,因为汽轮机的排气点处于温蒸汽区,而现场缺乏蒸汽温度的测量手段,使汽轮机排气焓难以准确得到,进而使得在线确定机组的相对内效率成为一个难题。
目的:观察鼓室内注射小剂量庆大霉素治疗难治性梅尼埃病患者的效果。方法:选取78例难治性梅尼埃病患者作为研究对象,依据随机数字表法将其分为观察组和对照组各39例。对照组