论文部分内容阅读
人体骨架提取和行为理解在人机交互、人工智能和康复医疗等领域中具有重要的研究价值与应用前景。人体骨架可以有效地表述人体的姿态与运动,为人体行为理解提供有力的支撑。但由于人体形态不同且运动多变,会出现自遮挡问题并导致人体骨架提取困难,另外如何有效地从人体运动过程中提取特征对人体行为进行理解也是一个难点。本文针对以上问题,提出了基于模型拟合的人体骨架提取方法,同时使用人体骨架实现对人体的行为理解,并将其应用于远程人机交互系统和康复训练中。针对人体骨架提取中因人体运动变化所导致的自遮挡问题,以及传统的2D细化算法无法有效地解决人体自遮挡问题,存在人体骨架曲线出现部分缺失的缺点,本文提出了自适应分割算法和多层2.5D细化算法。该方法将深度图像分割与细化算法相结合,弥补了传统细化算法检测缺失的不足,并有效地解决了自遮挡区域人体骨架曲线提取的问题,提升了检测结果的鲁棒性。针对于人体姿态多变不易提取人体骨架的问题,本文定义了基于树形结构的标准骨架模型,将各个骨骼关节点间的相互作用关系使用运动链进行表示。同时本文定义了8种姿态匹配模板,并结合细化线线上距离检测外、内部拟合基准点,最后将标准骨架模型拟合到图像中并检测出完整的人体骨架。另外,针对于人体行为多变不易进行解析与理解的问题,本文基于骨架信息并结合循环神经网络构建行为理解模型,实现了对骨骼运动序列的编码与特征提取。为了验证算法的准确度,本文在Stanford数据库以及自行采集并标注的UESTC-SE数据库上分别进行了人体骨架提取实验的对比与分析,证明该算法可以达到90%的检测准确度和0.023帧/秒的实时处理速度,比同类算法的运行速度提升了10倍。同时在MSRDaily3D数据库上进行行为理解实验,并取得了87%的识别率验证了算法的有效性。本文设计并开发了基于虚拟机器人的远程人机交互系统,通过虚拟机器人作为交互的可视媒介,并将其与下肢康复外骨骼机器人相结合,通过人体骨架的提取和对人体行为的理解,实现了远程康复训练的模式,在提高康复训练效率的同时也增加了训练过程的趣味性。