基于视频图像的公路复杂环境交通目标感知及事件智能识别

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:david70s
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过数字化、信息化手段实现对交通区域内的目标感知以及事件识别,有助于保障交通安全、缓解交通拥堵、减少交通事故,提高公路运行效益和交通管理水平。公路监控系统的视频影像作为一种容易快速获取且廉价的数据采集手段,成为现代智能交通系统的重要数据源之一。因此,开展基于视频图像的公路环境目标感知与交通事件智能识别研究已成为智能交通领域的关键科学问题之一。实现交通目标感知,首先是对交通环境中的各类目标进行准确检测,获取某个时刻图像中各目标的位置以及类别信息。然后在目标检测的基础上,对视频连续帧中的目标进行跟踪,生成目标在某一时段的运动轨迹。通过运动目标的轨迹分析,结合交通事件的语义描述,对可能涉及的交通事件进行自动判断。然而在实际工作中,由于公路环境的复杂性,对各类别目标的准确检测和跟踪并未易事,加之交通事件类型多样,导致缺少普适性的识别方法。此外,对于较少发生但危害巨大的异常事件,往往会因为难以收集足量的训练样本而无法采用传统监督学习的方式训练出表现鲁棒的算法模型。针对上述问题,本论文按照底层目标感知到事件语义认知的研究思路,开展了复杂交通环境下的目标检测、多目标跟踪、一般性交通事件识别和异常事件识别与检测等相关问题的理论与方法研究。主要研究内容和创新性成果如下:(1)复杂环境目标检测研究是实现目标感知的基础。传统目标检测方法大多基于颜色、纹理、形状、梯度等手工特征,其表达能力较弱,导致基于手工特征的目标检测算法往往鲁棒性不够。而诸如卷积神经网络等深度学习模型因其具备更好的数据拟合能力,能深度挖掘目标不同特征的内在联系,实现底层特征与高层语义特征的融合表达,具有较强的鲁棒性。因此,目前基于深度学习的目标检测方法成为主流。然而,监控图像中的交通目标存在其特殊性,不仅需要考虑雨、雾、雪等天气变化以及运动模糊、遮挡等因素对其外观特征的影响,还需要关注因监控视角“近大远小”造成的目标尺度的变化对特征的影响。而以faster R-CNN算法为代表的深度学习目标检测方法对目标尺度变化的敏感性不足,尤其是对远处的行人、交通指示牌等尺度较小目标的特征表达能力有限。针对该问题,本文提出了基于改进faster R-CNN的交通目标检测方法,并通过实验论证了本方法能提高复杂交通环境下交通目标的检测精度,为后续多目标跟踪中目标的运动特性研究提供数据支撑。(2)在实现各类交通目标准确检测的基础上,开展以多车辆运动轨迹的实时生成为目标的多车辆跟踪研究。在多车辆跟踪任务中,需要面对部分遮挡以及甄别外观相似的车辆目标这两大问题。针对外观相似目标的甄别问题,本文充分考虑了目标特征表达的类内和类间判别性,创新性地提出了目标特征稀疏化表征方法。对于目标间的部分遮挡问题,本文从理论和实验的角度分析了1-Wasserstein距离(WD-1)在相似性度量方面的优势,并创新性地引入改进WD-1作为多车辆跟踪方法中特征相似性度量的测度。以此提出了基于改进Wasserstein距离的监控视频多车辆跟踪方法,并将其与多个主流多目标跟踪方法进行实验对比,实验结果验证了本方法的先进性。(3)综合目标的外观和运动特征,将其作为目标的底层信息,在此基础之上,通过明确交通事件在不同语义粒度下的组成结构,挖掘其内在的相互关系和推理机制,提出一种基于层次语义描述的交通事件识别方法,实现了底层对象的时空信息到高层事件语义概念的过渡。目前,相关的交通事件识别研究往往只是针对某一种交通事件进行识别,本方法通过实验验证了基本可以实现包括违章停车、逆向行驶、行人以及机动车闯红灯、拥堵在内的大部分交通事件类型的准确识别。因此,本方法更具普遍适用性。(4)基于深度学习的道路环境异常事件识别大多是采用监督式学习的方式,需要大量的标注样本才能训练满足要求的模型。然而,类似火灾等异常事件较为罕见,增加了样本收集的难度。若直接利用语义相关但不同场景的图像作为训练样本,则会出现域漂移问题。本文以火灾事件为例,针对域漂移问题,通过理论研究与实验分析,借鉴领域自适应技术的思路,并针对监控场景和无人机视角场景,分别提出基于对抗自适应的火灾识别和检测方法。不同于以往领域自适应方法中将源域和目标域数据映射到同一特征空间,并迫使其在该空间内对齐的思路,在本方法中,将源域和目标域数据映射到不同的特征空间,分阶段优化各自的映射函数,并通过对抗自适应的训练方式使不同域的特征分布对齐。实验证明,本方法可以提高模型对当前域数据的判别能力,改善火灾事件的识别与检测精度。本论文从公路与城市道路的目标感知与交通事件识别的实际问题出发,完成了交通目标检测、多目标跟踪、一般性交通事件识别与异常交通事件识别与检测等五个研究课题相关数据的标注与处理、模型搭建、训练和验证等环节,同时从上述课题的实用性和适用范围等方面提出了展望,为交通数字化、信息化管理提供可靠的技术支撑。
其他文献
随着畜禽养殖业和饲料工业的规模化发展,养殖废物大量肥料化施用,农田土壤出现重金属和抗生素复合污染。四环素(Tetracycline,TC)是土壤环境中广泛检出的抗生素之一,同时重金属镉(Cadmium,Cd)因其高毒性和高危害性且易被粮食作物吸收和积累一直备受关注。二者共存时,会产生交互作用,可能会影响植物根际微生态,进而影响植物的生长生理和污染物富集,造成食品安全隐患。根际微生态中微生物和根系分
高熵碳化物陶瓷作为一类新型超高温陶瓷材料,不仅兼具传统碳化物极高的熔点、较高的硬度、强度和耐磨性以及良好的高温物理化学稳定性等性能,而且在多主元的高熵化作用下,该材料的硬度、模量以及高温物理化学稳定性等性能都得到了极大的提升,使其成为应用于航空航天、国防军工等极端领域的有力备选材料之一。然而,目前国际上所开发的高熵碳化物陶瓷材料普遍存在晶粒粗大、致密度低、元素分布不均匀、氧杂质含量高等系列问题,严
在行星齿轮传动系统设计中,振动与噪声是最重要的设计指标之一。齿轮修形技术被制造商广泛地应用,以补偿轮齿在不同载荷工况下的弹性变形,从而减小齿轮啮合激励波动,进而减小行星齿轮系统的振动和噪声。由于齿轮侧隙的存在,行星齿轮系统在其固有频率附近工作时,可能会出现部分或全部轮齿脱离啮合现象,表现出软化的非线性动力学特性。行星齿轮工作时各齿轮啮合副之间都存在啮合相位差,导致各啮合副各谐次啮合力在构成合力和合
小麦醇溶蛋白具有无毒、可降解、生物相容性好等优点,其特殊的氨基酸组成和结构赋予它独特的两亲性,能够在反溶剂过程成自组装成纳米颗粒。本论文以小麦醇溶蛋白为材料,将其作为根皮素的输送载体和纳米银原位合成过程中的稳定剂。通过小麦醇溶蛋白与根皮素以及纳米银之间的共组装作用,提高了根皮素和纳米银的稳定性,制备了抗氧化和抗菌复合胶体颗粒。然后以该抗氧化和抗菌小麦醇溶蛋白颗粒作为稳定剂,构建了界面抗氧化和抗菌P
锅炉设备具有较大的空间范围,其炉膛内的燃烧过程是一个复杂的物理和化学过程,并且锅炉运行状态会因电网调度、燃煤种类改变以及长时间运行等因素的影响偏离锅炉设计工况。对炉膛物理场进行在线可视化可以在锅炉运行过程中为运行人员提供更加详细的锅炉炉膛信息,对锅炉优化燃烧调整及锅炉安全经济运行具有重要意义。以声学法和光学法为代表的燃烧三维可视化技术是炉膛燃烧可视化领域被广泛应用的方法,而两者都难以对气体浓度场做
金属卤化物钙钛矿是近年来兴起的新型光电材料,由于其具有荧光量子产率高、发光光谱窄、带隙可调谐、原材料成本低和可溶液加工等众多优点,在发光应用领域的研究备受关注。但钙钛矿的离子型结构使其易受到环境中水、氧气等因素的影响而发生衰变分解,严重影响其光电性能及商业化应用前景。本论文致力于用具有良好透光性、耐热性和可塑性的聚碳酸酯(PC)与钙钛矿发光材料复合,通过原位法直接在PC薄膜中生长钙钛矿晶体,以及通
塑料管材作为一种常用管材,相比于传统同金属管材具有自重轻、可回收、寿命长等优点,其中大口径塑料管材被广泛应用于排水工程、排污工程、救援逃生等领域。超高分子量聚乙烯(UHMWPE)作为近年来得到广泛应用的高性能塑料,数百万的分子量使其分子链缠结严重,导致熔体流动性极差,传统方法难以加工成型UHMWPE制品,从而限制了UHMWPE的应用范围。目前大口径塑料管材的成型方法主要有挤出成型和缠绕成型,挤出成
有机共轭分子在太阳电池、发光二极管、场效应晶体管和荧光探针等方面具有重要的应用,相关研究逐渐加深并取得了巨大的成功。有机共轭分子在固态条件下,分子与分子之间往往形成不同的堆积方式,也就是不同的聚集行为,对材料的光电性能有着巨大的影响。由于有机共轭分子在许多应用场景中均是在固态薄膜条件下使用,因此了解分子与分子之间的聚集行为以及这些聚集行为如何影响微观和宏观性质,如吸收、固态荧光、激子扩散、空穴和电
随着人类工业化进程的不断发展,对于金属和石油等各种资源的开采使用需求不断增大,从而带来的有机和金属污染也日益严重,金属微量元素污染物质是主要污染物的前三位,也是水体污染的主要物质之一,因此,寻求经济高效、绿色环保的处理重金属离子污染的方法具有非常重大的意义。壳聚糖是一种天然碱性阳离子多糖,分子链上具有大量的羟基和氨基,对于重金属离子具有良好的吸附效果,并且原材料来源广泛,廉价易得,绿色可降解。但是
随着工业技术不断的发展,人们对于新材料的探究越来越广泛深入,不断寻找具有各类优良性质的材料。六方氮化硼(hexagonal boron nitride h-BN)由于其特殊的结构和优良的性能近年来受到极大的关注,有将纯h-BN直接作为原材料来制备光学或电子器件,更多则是将其改性之后制备复合材料来提高材料的各项性能,如导热性能。导热高分子复合材料由于其良好的可加工性在电子封装行业应用广泛,但是高分子