跨视域摄像头网络下的监控视频结构化与检索

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:kim5618
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频监控是城市公共安全领域一项重要的监控手段。随着监控摄像头数目和监控视频数据量的急剧上升,传统基于人工操作的监控方式越来越难以满足需求,亟需发展基于智能算法的视频监控技术。智能视频监控中的关键问题在于"监控视频内容结构化"与"监控对象检索"。围绕这两大关键问题,本文(1)针对监控视频内容结构化中的目标元数据获取问题,开展了群体目标跟踪的研究;(2)针对监控视频内容结构化中的目标理解与描述问题,开展了图像多属性识别的研究;(3)针对监控对象检索中的基于图像的检索问题,开展了跨视域行人群组再识别的研究。群体目标跟踪获取了每个行人的运动视频片段和运动轨迹信息,为后续分析处理提供了重要的素材。图像多属性识别为每个监控对象生成了高层语义描述信息,一方面为基于图像的检索提供了高层语义特征,另一方面为基于自然语言的检索提供了可能。跨视域行人群组再识别的研究是对单行人再识别问题的重要补充,为视频监控中基于行人外观特征(非人脸)的跨视域行人检索应用提供了重要的技术基础。本论文的主要研究工作与创新成果如下:(1)提出了一种基于群组关系演化的群体目标跟踪算法。该算法将低层次(Low-Level)的关键点跟踪、中层次(Mid-Level)的图像块检测及跟踪和高层次(High-Level)的群组关系演化融入一个统一框架。不同于以往的计算光流、跟踪关键点或者检测行人目标,本文提出将人群表示成一组外观独特且稳定的图像块。在低层次上,关键点跟踪提供了非常精确的局部轨迹信息,可以用于检测图像块以及推测群体的群组关系。在中层次上,采用所提出的分层树形结构对图像块之间的空间关系进行建模和学习。在高层次上,群组关系的演化使得分层树形结构可以通过分裂、合并等形式进行动态更新。实验结果表明:所提出的图像块检测方法为给定目标的跟踪提供了重要的辅助信息;所提出的动态分层树形结构能够有效学习目标之间的空间关系;所提出的基于群组关系演化的群体目标跟踪算法显著提高了群体目标跟踪的准确性。(2)提出了一种基于空间几何关系的图像多属性识别算法。该算法通过一个可以"端到端"训练的深层卷积神经网络来同时学习属性之间的空间和语义关系,而仅仅利用了图像的属性标签类别信息作为训练监督信号。具体来说,对于输入图像,使用所提出的"空间正则网络"(SRN:Spatial Regularization Network)为每个可能的属性类别标签生成一个注意力图,并基于注意力图来同时学习属性之间的空间和语义关系。最后,将"空间正则网络"得到的各个属性的置信度得分与基本卷积神经网络(如:残差网络ResNet-101)得到的置信度得分进行加和,修正属性置信度得分。在多个不同类型的公开数据集上的实验结果表明:"空间正则网络"可以有效学习图像中属性之间的空间几何关系;这种空间几何关系可以显著提升图像多属性识别的准确性。(3)提出了一种基于块匹配的行人群组再识别算法。相对于单行人再识别问题,行人群组再识别面临着更多的新问题,比如:群组内行人之间严重的相互遮挡、群组内行人在不同视域下发生相对位置变化等。为了解决上述问题,本文提出将行人群组再识别建模成两组图像块匹配的问题。首先,通过所提出的显著性通道滤除掉外观相似度不高或者不具判别能力的图像块匹配;然后,对于生成的候选匹配,采用所提出的空间一致性匹配进行进一步筛选,滤除掉空间匹配关系不一致的图像块匹配,最终得到两张图像的相似度。实验结果表明:所提出的算法在性能上显著超过了目前主流的目标再识别算法;所提出算法的两个部分(显著性通道和空间一致性匹配)在行人群组再识别性能的提升上相互促进。
其他文献
肺炎球菌是威胁婴幼儿健康的主要病原菌,现有的23价肺炎球菌多糖疫苗不能诱发T细胞依赖的免疫反应,免疫效果差。近年来国内外学者研究制备结合疫苗成为热点,以解决2岁以下儿
竖琴以它富有表现力的音色特点,在器乐演奏中保持了一个不同寻常的地位.本文从和弦、踏板、等音代替、余音制止等几个角度,漫谈竖琴的演奏技巧.
建筑物三维模型是数字城市的重要内容,其自动化建模一直是测绘遥感领域研究的热点。传统的基于摄影测量的建筑物三维重建由于影像空间纹理和几何信息丰富,场景自动化解译困难
云计算技术的广泛应用使数据呈现出爆炸式增长的趋势,对传统的数据管理技术提出了新的挑战。现有的云存储系统普遍采用分布式哈希表的形式存取数据,这种基于key-value的模型
社会经济的发展,给人们带来很多新的理念.一些传统的思维和工作方法受到了挑战和冲击。在以满足顾客需求、竞争和变化为主要特征的当代经济环境下.企业应该把未来的生存和发展问
人类的视觉能力能够轻松实现对图像的分割,但这一能力对计算机视觉系统却是艰巨的挑战。近年来,由于图像信息的大量增多,对多张图像实现联合分割比单独对每一张图像进行分割
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
随着经济的发展,人民生活水平的提高,顾客在企业发展和企业取得竞争力方面占到越来越重要的地位,本文通过分析顾客满意度的重要性,进而分析在物流领域如何提高顾客满意度。
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
期刊
目的探讨颈段食管憩摩的临床特点、诊断和治疗方法,避免误诊甲状腺癌。方法 回顾性分性分析颈段食管憩窜误诊为甲状腺癌的临床资料,5例患者均术前误诊为甲状腺癌,其中Zenker憩审