论文部分内容阅读
近年来,我国已经进入了社会高速发展期,国内安全形势严峻。为了维护社会稳定,保障人民生命财产安全,国家投入3000个亿的资金在全国660多个城市实施平安城市视频监控工程,建立了较为完善的视频监控体系。利用监控视频资料进行刑事侦查的主要目标是在已有的视频片断中确定嫌疑人的身份,然而由于嫌疑目标人脸常离摄像头距离远、各种模糊、噪声等因素的干扰,使得直接对目标人脸的识别变得很困难,为了解决这一问题,人脸超分辨率算法能够提升目标人脸图像的细节信息进而有助于识别。基于机器学习理论的超分辨率算法利用统计学习工具从样本中学习高低分辨率图像之间的对应关系,推导输入低分辨率图像所对应的高分辨率输出。基于学习的超分辨率算法能够利用样本提供的先验信息指导重建,相比传统的图像增强算法具有更好的重建质量,在遥感、医学图像、刑侦和人脸识别等领域有着广泛的应用。在仿真条件下,目前的基于学习的人脸超分辨率算法已经取得了较好的重建效果。然而在实际监控中,由于实际降质过程的复杂性,通用图像先验知识与实际图像的先验知识不符,导致实际降质过程模糊核参数估计的误差增大,超分辨率图像的重建质量急剧降低;与此同时,图像受到模糊、噪声等降质因素的干扰,传统的基于流形学习的人脸超分辨率算法难以保证高低分辨率之间的几何流形一致性,降质干扰还影响了人脸图像的表达精度,进而造成了实际监控视频人脸超分辨率算法性能急剧下降,无法满足目前刑事侦查工作对嫌疑人脸辨识的需求。本文针对实际监控图像超分辨率算法中存在的问题开展了深入研究。首先,针对实际监控视频图像的降质过程的复杂性,分析了影响监控图像降质的主要因素,利用监控图像场景的近似性模拟实际图像的降质过程,提出了利用后验图像约束实际降质过程估计的研究思路。其次,针对实际图像超分辨率算法中的高低分辨率表达系数之间流形不一致问题,分析了核空间非线性字典学习方法对于图像合成的影响机制,揭示了高低分辨率图像之间的复杂关系,提出了基于核非负表达的半耦合人脸超分辨率算法。再次,针对实际图像超分辨率算法中图像表达精度受到降质干扰影响的问题,分析了降质干扰对高分辨率图像重建的影响方式,揭示了图像主要结构信息的自适应表达机理,提出了基于主成份稀疏的局部脸算法。最后,提出了基于云服务模型的刑侦图像增强服务框架,进一步拓展面向刑侦图像的超分辨率的应用范围。相比学科前沿算法,本文提出的超分辨率理论和算法有效提升了其在实际应用中的实效性。具体来讲,本论文的主要研究成果如下:(1)基于后验信息的图像降质过程自适应估计由于实际降质过程的复杂性和图像内容的多样性,实际图像的先验知识和通用先验知识不符,传统的利用通用图像先验约束降质过程求解方法会增大实际降质参数的估计误差,使得图像重建质量急剧下降。前沿综述文献[24]中的实验数据表明,通用图像先验重建相比准确先验图像重建方法客观重建质量SSIM降低了19.9%,无法满足实际刑侦工作的需求。针对这一问题,本文在模糊核估计算法中引入了实际现场的后验图像信息,通过现场图像的后验信息获取实际图像的降质过程,利用多帧视频时域选择模型获得最佳质量帧作为输入帧,对高分辨率图像和降质模糊核双变量迭代联合估计求解,将传统的模糊核估计算法扩展为基于后验信息的自适应模糊核估计方法,提升实际监控视频人脸超分辨率算法的实用性。(2)基于半耦合核非负表达的自适应全局脸超分辨率算法在实际监控环境中,图像降质干扰影响了高低分辨率图像表达系数之间的流形一致性,使得实际超分辨率算法图像的重建质量急剧下降。全局脸前沿文献[33]中的实验数据表明:在高低分辨率表达系数的相关度从典型相关算法的0.99降低到主成份分析方法的0.753情况下,表达系数相关度低的算法相比相关度高的算法重建人脸图像质量PSNR值降低了11%,无法满足实际应用需要。针对这问题,本文在全局脸超分辨率算法中引入半耦合核非负特征表达方法,利用核空间的非负特征进行表达与重建,使得该算法具备非线性人脸内在特征的表达能力,同时利用半耦合框架揭示了高低分辨率表达特征之间的复杂关系,将传统的线性一致性的超分辨率算法扩展为非线性一致性超分辨率算法,提升了实际监控视频目标人脸图像超分辨率算法的有效性。(3)基于主成份稀疏的自适应局部脸超分辨率算法在实际监控条件下,模糊和噪声等降质干扰增大了图像表达的误差,进而影响了超分辨率图像的重建质量。在局部脸前沿算法[43]的基础上进行的实验表明,当输入的图像中含有方差为0.002的高斯噪声情况下,闻建的高分辨率人脸图像PSNR下降了6.5db,相比无噪声条件的重建PSNR值下降21.3%,无法满足实际应用需求。针对这一问题,本文在基于分块的局部脸方法中引入主成份稀疏约束,通过对图像块的主成份分解获得其内在特征,根据图像内容自适应选择与图像内容相关度高的表达基进行合成,将传统的基于图像块表达的局部脸脸算法扩展到基于自适应主成份稀疏表达的局部脸算法,从而提高了局部脸算法对降质干扰的鲁棒性。(4)基于云计算的刑侦图像增强服务应用框架在实际的刑侦应用中,分散的监控视频资料给刑侦工作带来了困难,特别是在进行图像增强处理时,由于需要对样本、输入图像进行处理,这些工作给一线刑侦人员形成了技术门槛。针对这个问题,本文在课题组前期开发的”刑事侦查综合分析仪”的基础上,提出刑事侦查数据资源中心框架,利用云服务技术实现刑事侦查图像增强服务,该系统可以实现移动终端的接入与访问,通过实时传输获得专业的图像增强服务,目前该系统已经在实际刑侦工作中得到了应用,取得了较好的实际效果。本文的最后对下一步的研究工作进行了展望,主要包括:1、建立复杂监控场景下的现场多因素降质数学模型。2、研究在图像部分缺损条件下的人脸恢复与识别问题。3、研究分块方法中对光照和姿势变化具有鲁棒性的人脸超分辨率与识别算法。