基于深度学习的视频多目标跟踪算法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:seacowo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对视频中的多个被关注对象进行维持固定身份标识的追踪,也就是多目标跟踪(Multi-Object Tracking,MOT),一直是众多研究者们所感兴趣的问题。其在应用于安防、工业、交通和军事领域等众多更复杂的计算机视觉系统中都能发挥独特的效果。离线跟踪能够利用整段的视频提供完整的时空信息来支撑跟踪,而在线跟踪仅能利用当前帧和历史帧等已知信息来构建目标轨迹。基于在线跟踪的特性,其能够满足诸如视频监控、自动驾驶等场景中所需要的实时性要求。因此,能够进行实时跟踪的在线跟踪算法以及其实现过程中碰到的相关问题是本文的首要关注点。传统的多目标跟踪算法,采用人工手段来设定被跟踪对象。而基于检测的跟踪范式则是从给定的视频每一帧的检测结果中获取当前场景中所有物体的位置和类别,再决定算法所关注的对象并加以跟踪。随着深度学习技术被应用到目标检测领域并带来巨大的性能提升,研究者们都将注意力集中到了基于检测的跟踪范式上,并设计出了一系列具有优异跟踪性能的视频多目标跟踪器。然而,当前的检测算法无法在一些目标遮挡严重以及目标数量较多的视频场景中完全准确地识别和定位感兴趣的目标,得到的检测结果中存在着大量的漏检和误检。因此,如何克服检测结果中噪声带来的不利影响并对目标的完整路径进行准确还原,是基于检测的多目标跟踪范式所面临的主要挑战。本文通过深入研究和分析基于检测的跟踪范式在视频在线多目标跟踪技术上的应用,探求了如何解决运动位置预测、边界框精细化、外观特征建模、跟踪管理、跟踪模块兼容性以及其对跟踪任务本身适应性等问题的方案。本文的主要工作概括如下:(1)基于预测细化和遮挡分类的在线多目标跟踪算法。深入研究了严重遮挡时不同遮挡类型目标的分类处理,旨在解决不准确的检测和预测带来的关联错误、目标重合导致的身份转换问题以及严重遮挡导致的漏警问题。具体而言,该方法首先采用了结合卡尔曼滤波器与增强相关系数法(Enhanced Correlation Coefficient,ECC)的运动模型来提升位置预测的准确性,其次采用了边界框回归网络来对运动预测后的目标位置来进行具有检测属性的细化,从而提高定位准确性,然后对被严重遮挡的目标进行分类以及差异化处理,并采用简单的贪心匹配算法就能够准确地将被跟踪的目标与检测响应进行关联,最后利用行人重识别环节对重新进入场景中的丢失目标进行身份的还原,从而提升了算法进行在线多目标跟踪的性能。(2)基于多功能聚合和跟踪模拟训练的多目标跟踪算法。为了使多目标框架中各个模块之间更加兼容,该算法将边界框细化和目标外观特征提取功能整合到一个网络模型之中并利用后续的不同分支来实现对应功能。该算法还采用了卡尔曼滤波器聚合增强相关系数法ECC的运动模型来提高预测准确度。为了提升各个网络模块对于跟踪任务本身的适配性,该算法还提出了一种跟踪模拟训练法来训练网络模型。在训练时模拟在线多目标跟踪过程,利用运动预测的位置来扩充训练数据,并结合了一种能够利用目标历史外观特征的指标损失来训练外观特征提取模块,使得网络模型能以一种端对端的方式来优化权重。(3)基于二源运动预测的多目标跟踪算法。在存在大量转弯、加减速等非线性运动的复杂视频场景中,简单的线性运动模型往往表现乏力。因此,该算法提出采用在文本翻译、语音识别等领域中展现出卓越的序列数据处理能力的Transformer结构构建运动模型,实现对目标位置变化规律的感知以及在后续帧的位置预测。目标的历史位置差被用来提取目标本身运动带来的非刚体位置变化信息,并用增强相关系数法ECC提取连续视频帧之间的仿射向量来提供刚体位置变化信息。这两类信息分别被两个全连接层扩充信息尺度后,输入到网络模型中予以预测目标当前的位置,从而提升了预测准确度。同时,该运动模型也能够简易地部署到其它跟踪框架中来提升跟踪性能。本文将提出的视频多目标跟踪算法在多个被研究者们认可且广泛应用的公开实验数据集上进行了评估并与其它优异的跟踪算法进行了定量的比较。通过分析实验结果,可以发现提出的方法是十分有效的,它们能够有效地缓解上述几个关键性问题,并提升基于深度学习的视频多目标跟踪算法的整体性能。
其他文献
随着互联网技术的发展及后疫情时代线上学习广泛开展,学习者使用移动设备进行碎片化学习成为普遍现象,大学生碎片化学习注意力失焦问题逐步凸显。利用文献回溯和开放式问卷调查梳理碎片化学习注意力失焦的影响因素,选取使用移动设备进行碎片化学习的大学生为研究对象,通过线上收集学习注意力失焦调查问卷,采用结构方程模型构建学习注意力影响因素模型并对各因素变量之间的影响关系进行探究分析。研究发现:网络环境、学习资源、
党的十八大以来,作为新时代全面深化改革的认识论和方法论的引领,“更加注重改革的系统性、整体性、协同性”的思想贯穿于高等教育管理改革发展的始终。“双一流”建设发挥“关键少数”引领带动整体发展的作用,教育评价对高质量高等教育体系建设的系统性牵引,落实和扩大办学自主权强调关系的衔接内洽与机制的“上”“下”协同,更是这十年高等教育管理改革的“三性”在顶层设计和实践举措两个方面的具体体现。“着力增强”和“更
目的:探讨皮肤中半乳糖凝集素-3(Galectin-3, Gal3)对银屑病小鼠模型中皮损处肥大细胞激活及银屑病皮炎损伤的影响。方法:每日连续分别对SPF级Gal3野生型(Gal3+/+)和Gal3基因敲除小鼠(Gal3—/—)背部裸露皮肤处涂抹相同剂量咪喹莫特乳膏,造模5d以构建银屑病小鼠模型。观察小鼠背部大体病变,并根据银屑病皮损面积和严重程度指数(psoriasis area and sev
文章以长三角41个城市为考察对象,运用微观贸易数据,并结合其他城市层面数据构成面板数据,探究数字经济对制造业出口产品质量升级的影响效应和作用机制。研究发现:第一,数字经济对制造业出口产品质量提升有显著促进作用,内生性与稳健性检验均支持这一结论;第二,数字经济通过提高产品生产效率和研发创新水平来促进制造业出口产品质量提升;第三,金融发展水平在数字经济促进制造业出口产品质量提升的过程中起到抑制作用。由
“互联网+”正在改变和影响着人们的学习、生活的方式。小学心理健康教育离不开学校和家长的共同努力,如何运用“互联网+”促进小学心理健康教育中家校合作的深入开展,是当前小学心理健康教育应研究的重点内容之一。文章分析了当前小学心理健康教育存在的问题,探讨了“互联网+”背景下小学心理健康教育中家校合作的具体策略。
在城市轨道交通网络化运营大背景下,设备智能运维需求愈加迫切。提出基于云-边-端架构的城市轨道交通设备智能运维系统,采用云边协同技术,将云中心的部分功能下沉至边缘侧,充分发挥云计算技术与边缘计算技术的各自优点,实现对终端数据的快速响应和有效利用。该系统集设备监测平台、设备健康管理平台、设备智能分析平台、应急指挥平台、专家系统为一体,具备设备状态在线监测、设备健康度评估、故障智能诊断、故障预测、智能分
目的:探讨芍药甘草复合精油(SGO)对过氧化氢(H2O2)诱导鼠嗜铬细胞瘤(PC12)细胞氧化损伤的保护机制。方法:采用200μmol/L的H2O2处理PC12细胞建立氧化应激损伤模型。将PC12细胞分为对照组、模型组(200μmol/L H2O2)、SGO低浓度组(1μmol/L SGO+200μmol/L H2O2)、SGO高浓度组(10μmol/L SGO+200μmol/L H2O2)。细
目的 了解白介素(interleukin, IL)-21在银屑病小鼠皮损中的表达特征及其在银屑病发病中的作用机制。方法 20只雄性BALB/c小鼠随机分为对照组、模型组、阿维A灌胃组、灭菌水灌胃组。5%咪喹莫特乳膏背部使用诱导小鼠银屑病模型,连续造模7 d后拍照计算各组小鼠PASI评分,取小鼠皮损观察组织病理学改变,利用免疫荧光及实时荧光定量PCR检测各组小鼠皮损内IL-21表达情况。随后另将10
幼儿园环境是幼儿除了家庭以外接触最多的,适合幼儿发展的环境能够引发幼儿的学习兴趣和探索欲望,提高幼儿的认知能力、观察能力、创造力等。本文分析比较了中国和英国幼儿园环境的特点,提出了相同点以及不同点,尝试借鉴外国幼儿园环境的特点来促进中国幼儿园环境的发展,并提高中国幼儿园环境创设的质量。
本文利用CiteSpace软件,从职工薪酬、高管薪酬以及股权激励三个方面,综合研究2011—2021年文献,根据统计数据绘制关键词共现图、研究热点时线图、关键词爆发图,归纳分析我国高管薪酬研究热点与趋势,展望未来的研究内容以及方向。研究发现,文献主要是从股权激励、企业绩效、过度投资、会计核算、高管薪酬等方面进行论述。从文献发布数量上看,2014—2015年是发文高峰期,往后逐年下降;从作者关系图来