结合实例分割的行人多目标跟踪算法研究与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:chenweihong2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于行人的多目标跟踪算法在视频分析、智能安防中有着广泛的应用。但跟踪算法只能提供跟踪目标的边界框表示,而在行人姿态识别、视频编辑等更复杂的任务中,往往不能满足于边界框表示,还需要分割算法分割出精确的目标边缘,从而对跟踪目标做更精细的处理。现有的联合实例分割与多目标跟踪的算法较少,且计算量较大,部署困难。因此本文立足于算法的落地部署,采用轻量型网络结构将目标检测、实例分割和多目标跟踪三个任务集成于单个模型中。同时将分割特征做为一种注意力特征融合进其他任务的预测分支中,以增强对前景区域的注意力。本文采用一系列优化措施来增强模型的学习能力,主要包括以下几点:(1)在 YOLACT(You Only Look At CoefficienTs)算法和 FCOS(Fully Convolutional One-Stage Object Detection)算法的正负例样本划分方式里,容易出现多个目标的正样本区域互相重叠,而重叠区域的训练方向不唯一,容易导致分割结果不稳定。因此本文改进正负例样本划分方式,减少了优化方向不唯一的情形,使分割结果更加稳定。同时采用多种注意力模块,自适应调整特征权重,有效提升算法精度。(2)实例分割分支基于YOLACT结构,只需为每个目标生成一组组合系数即可与原型掩膜组合生成高分辨率的实例分割结果。同时加入边缘损失和ACNet(Asymmetric Convolution)进行训练,在不增加测试计算量的前提下提升分割性能;(3)跟踪分支基于JDE(Joint Detection and Embedding)结构,但跟踪任务和检测中的分类任务优化方向不一致,分类任务注重类间差异,而跟踪任务注重类内差异。因此采用两个分支分别处理检测任务和跟踪任务,降低优化难度。(4)分割分支的原型掩膜具有部分分割特征。因此本文在预测分支的ASFF模块中融合原型掩膜特征。原型掩膜特征不仅能提供精细的前景区域帮助跟踪分支对词向量进行编码,同时提升了检测性能和组合系数的质量。当模型训练完成后,由TensorRT加速模型的推理速度,同时采用多线程提升运行速度。最终将本文算法应用于Jetson设备上。通过实验验证,本文算法在精度和速度上均高于JDE、YOLACT等算法,且在单个模型中融合了实例分割方法与多目标跟踪方法,对设备的算力要求低、容易部署,具有实际的应用价值。
其他文献
刺激隐核虫(Cryptocaryon Irritans)是严重危害东南亚海水养殖鱼类的寄生虫病原。MAPK与MHC Ⅱ抗原提呈通路是宿主免疫激活及特异性免疫起始的重要通路,在该寄生虫介导的鱼类相关通路应答机制还不清晰。本论文以石斑鱼为研究对象,对刺激隐核虫感染石斑鱼后的MAPK经典通路中的重要分子MEK及C-Raf,以及其通路与MHC Ⅱ信号通路相关性进行了研究。MEK双特异性蛋白激酶是一类丝裂原
显著性目标检测任务旨在将图像中最具有视觉差异性的区域定位和分割出来。它被广泛应用于其他复杂的计算机视觉任务的预处理,如图像编辑、图像描述以及问题回答等,以简化这些视觉任务,提高任务处理的效率。近年来,得益于全卷积神经网络的飞速发展,显著性目标检测的研究者们做了大量的工作,极大地提升了显著性目标检测的性能。然而在显著性目标的尺度、形状多变以及背景环境复杂的场景中,现有的算法无法捕捉到变化目标的信息,
世界城市化建设的浪潮和人类过度活动的冲击是导致生态系统稳定性下降的重要原因,也威胁着世界的自然与文化遗产的保护与传承。国际社会逐渐认识到这种发展并非长久之计,提出可持续发展目标,并在近年开始倡导自然与文化协同发展。我国“十二五”规划提出生态文明建设,当前逐步落实国土空间规划,坚定走中国特色可持续发展道路。可持续发展目标不仅对生态系统自然环境的健康维持提出要求,也对文化遗产保护和文化空间建设提出新的
传统改性沥青的成本增加、制备工艺复杂、相容性差、储存稳定性差,促使人们在不影响改性沥青性能的前提下,开发环保、可再生、经济的改性沥青。为了克服常规改性粘合剂的上述缺点,引入用于柔性路面的改性粘合剂的替代来源是必不可少的。近年来,木质素作为一种沥青改性剂,因其来源广泛、价格低廉、可再生性好、具有提高沥青路面使用性能的潜力而受到越来越多的关注。然而,现有研究缺乏对不同类型木质素改性沥青的性能、储存稳定
网格模型与点云模型是三维模型的两种重要表示方式。为了使三维模型呈现的真实感更加强烈,网格模型与点云模型的精细程度变得越来越高。这给数据加载和模型渲染带来了巨大的挑战性。为了减少加载和渲染三维模型的时间开销,合理的解决方案是通过减少原始网格模型中的面数或点云模型的点数来对三维模型进行数据的精简。许多研究者提出了保持三维模型几何形状特征的简化算法并取得了成功的效果。然而三维模型的颜色和纹理特征在模型的
醇醚羧酸盐(AEC)是一类新型阴离子表面活性剂,毒性小、易生物降解、表面张力低及与其他表面活性剂配伍性好等特点,是一类多功能的绿色表面活性剂。我国对AEC的研究已有十多年,主要工艺路线为氯乙酸钠与脂肪醇聚氧乙烯醚反应制备AEC。但由于氯乙酸钠羧甲基化法的产品质量不高,限制了产品的应用推广。与传统工艺相比,贵金属催化氧化法具有工艺流程短、对设备要求低、可用于连续化生产并可制成高纯度产品等优点,因此引
神经元电活动蕴含着丰富的神经信息.因此对神经元的放电节律的研究更有助于理解神经信息的编码和表达.内分泌神经元控制体内各种激素的分泌,对个体的生长、发育以及身体机能的调控起着至关重要的作用.本研究以三维的内分泌模型为基础,结合动力系统分岔理论,通过数值模拟与理论分析探究该模型固有的动力学性质以及在电磁感应下神经元产生的分岔与放电模式.本文第三章研究了钙离子电流变化下内分泌神经元产生的放电模式.利用快
人体外形重建在许多场景中都扮演着必要的角色,例如在虚拟现实游戏、电影特效、产品定制、增强现实等许多应用中都少不了人体外形重建。图像和视频是信息传递的主要载体,因此如何从图像和视频中获得人体姿态一直是计算机视觉的研究热点之一。当前大多数研究工作都试图采用回归人体参数模型,从而产生与图像和视频中人体一致的姿态。然而,这些方法存在以下问题:人体参数模型无法显示,诸如头发、面部表情、衣服的细节等;因为从高
纤维增强复合材料(Fiber-Reinforced-Polymer,简称FRP)是一种新型材料,具有轻质、高强、耐腐蚀的优点,目前已广泛用于实际工程中。FRP-混凝土-钢双壁空心构件是一种新型组合构件。该新型组合结构中,内部填充的混凝土受到FRP外管和钢内管的约束作用,相比未约束混凝土具有更高的受压强度及更好的变形能力;钢管由于同时受到外侧混凝土及FRP管的约束,能有效避免向外屈曲,能充分利用其强
从大量的生物医学电子文本中自动抽取其中实体之间的关系,对生物医学应用例如生物医学知识图谱的构建,生物医学知识发现等等具有十分重要的意义。随着深度学习、自然语言处理技术的发展,关系自动抽取技术也取得了长足的进步。然而生物医学文本中存在的专业性词汇,实体在句子中的较大跨度,以及句子中混杂的大量无用信息,仍为医学关系抽取带来重大挑战。本文从结合文本序列信息和句法依赖信息的角度出发,通过借助句法结构信息来