低质量监控视频人脸超分辨率技术研究

被引量 : 16次 | 上传用户:yuanlaiyizhizailiula
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,我国已经进入了社会高速发展期,国内安全形势严峻。为了维护社会稳定,保障人民生命财产安全,国家投入3000个亿的资金在全国660多个城市实施平安城市视频监控工程,建立了较为完善的视频监控体系。利用监控视频资料进行刑事侦查的主要目标是在已有的视频片断中确定嫌疑人的身份,然而由于嫌疑目标人脸常离摄像头距离远、各种模糊、噪声等因素的干扰,使得直接对目标人脸的识别变得很困难,为了解决这一问题,人脸超分辨率算法能够提升目标人脸图像的细节信息进而有助于识别。基于机器学习理论的超分辨率算法利用统计学习工具从样本中学习高低分辨率图像之间的对应关系,推导输入低分辨率图像所对应的高分辨率输出。基于学习的超分辨率算法能够利用样本提供的先验信息指导重建,相比传统的图像增强算法具有更好的重建质量,在遥感、医学图像、刑侦和人脸识别等领域有着广泛的应用。在仿真条件下,目前的基于学习的人脸超分辨率算法已经取得了较好的重建效果。然而在实际监控中,由于实际降质过程的复杂性,通用图像先验知识与实际图像的先验知识不符,导致实际降质过程模糊核参数估计的误差增大,超分辨率图像的重建质量急剧降低;与此同时,图像受到模糊、噪声等降质因素的干扰,传统的基于流形学习的人脸超分辨率算法难以保证高低分辨率之间的几何流形一致性,降质干扰还影响了人脸图像的表达精度,进而造成了实际监控视频人脸超分辨率算法性能急剧下降,无法满足目前刑事侦查工作对嫌疑人脸辨识的需求。本文针对实际监控图像超分辨率算法中存在的问题开展了深入研究。首先,针对实际监控视频图像的降质过程的复杂性,分析了影响监控图像降质的主要因素,利用监控图像场景的近似性模拟实际图像的降质过程,提出了利用后验图像约束实际降质过程估计的研究思路。其次,针对实际图像超分辨率算法中的高低分辨率表达系数之间流形不一致问题,分析了核空间非线性字典学习方法对于图像合成的影响机制,揭示了高低分辨率图像之间的复杂关系,提出了基于核非负表达的半耦合人脸超分辨率算法。再次,针对实际图像超分辨率算法中图像表达精度受到降质干扰影响的问题,分析了降质干扰对高分辨率图像重建的影响方式,揭示了图像主要结构信息的自适应表达机理,提出了基于主成份稀疏的局部脸算法。最后,提出了基于云服务模型的刑侦图像增强服务框架,进一步拓展面向刑侦图像的超分辨率的应用范围。相比学科前沿算法,本文提出的超分辨率理论和算法有效提升了其在实际应用中的实效性。具体来讲,本论文的主要研究成果如下:(1)基于后验信息的图像降质过程自适应估计由于实际降质过程的复杂性和图像内容的多样性,实际图像的先验知识和通用先验知识不符,传统的利用通用图像先验约束降质过程求解方法会增大实际降质参数的估计误差,使得图像重建质量急剧下降。前沿综述文献[24]中的实验数据表明,通用图像先验重建相比准确先验图像重建方法客观重建质量SSIM降低了19.9%,无法满足实际刑侦工作的需求。针对这一问题,本文在模糊核估计算法中引入了实际现场的后验图像信息,通过现场图像的后验信息获取实际图像的降质过程,利用多帧视频时域选择模型获得最佳质量帧作为输入帧,对高分辨率图像和降质模糊核双变量迭代联合估计求解,将传统的模糊核估计算法扩展为基于后验信息的自适应模糊核估计方法,提升实际监控视频人脸超分辨率算法的实用性。(2)基于半耦合核非负表达的自适应全局脸超分辨率算法在实际监控环境中,图像降质干扰影响了高低分辨率图像表达系数之间的流形一致性,使得实际超分辨率算法图像的重建质量急剧下降。全局脸前沿文献[33]中的实验数据表明:在高低分辨率表达系数的相关度从典型相关算法的0.99降低到主成份分析方法的0.753情况下,表达系数相关度低的算法相比相关度高的算法重建人脸图像质量PSNR值降低了11%,无法满足实际应用需要。针对这问题,本文在全局脸超分辨率算法中引入半耦合核非负特征表达方法,利用核空间的非负特征进行表达与重建,使得该算法具备非线性人脸内在特征的表达能力,同时利用半耦合框架揭示了高低分辨率表达特征之间的复杂关系,将传统的线性一致性的超分辨率算法扩展为非线性一致性超分辨率算法,提升了实际监控视频目标人脸图像超分辨率算法的有效性。(3)基于主成份稀疏的自适应局部脸超分辨率算法在实际监控条件下,模糊和噪声等降质干扰增大了图像表达的误差,进而影响了超分辨率图像的重建质量。在局部脸前沿算法[43]的基础上进行的实验表明,当输入的图像中含有方差为0.002的高斯噪声情况下,闻建的高分辨率人脸图像PSNR下降了6.5db,相比无噪声条件的重建PSNR值下降21.3%,无法满足实际应用需求。针对这一问题,本文在基于分块的局部脸方法中引入主成份稀疏约束,通过对图像块的主成份分解获得其内在特征,根据图像内容自适应选择与图像内容相关度高的表达基进行合成,将传统的基于图像块表达的局部脸脸算法扩展到基于自适应主成份稀疏表达的局部脸算法,从而提高了局部脸算法对降质干扰的鲁棒性。(4)基于云计算的刑侦图像增强服务应用框架在实际的刑侦应用中,分散的监控视频资料给刑侦工作带来了困难,特别是在进行图像增强处理时,由于需要对样本、输入图像进行处理,这些工作给一线刑侦人员形成了技术门槛。针对这个问题,本文在课题组前期开发的”刑事侦查综合分析仪”的基础上,提出刑事侦查数据资源中心框架,利用云服务技术实现刑事侦查图像增强服务,该系统可以实现移动终端的接入与访问,通过实时传输获得专业的图像增强服务,目前该系统已经在实际刑侦工作中得到了应用,取得了较好的实际效果。本文的最后对下一步的研究工作进行了展望,主要包括:1、建立复杂监控场景下的现场多因素降质数学模型。2、研究在图像部分缺损条件下的人脸恢复与识别问题。3、研究分块方法中对光照和姿势变化具有鲁棒性的人脸超分辨率与识别算法。
其他文献
教学团队建设是高等学校教学改革的内容之一,是实施教育质量工程和深化教学改革的重要举措。本文根据辽宁省电工教学团队近三年建设实践,探索了教学团队建设的基本理论,归纳
<正> 红血球沉降率(简称血沉)的测定应用很广。它是指示炎症或隐匿性疾病存在的非特异性试验;它可作为己用其他方法诊断出来的疾病的佐证;也可作为观察疾病发展过程的指标。
在我国 ,管理的职能出现很早 ,但管理学的产生却相对较晚 ,经历了一个相当漫长而复杂的过程 ,直到改革开放以后 ,才正式成为一门科学 ,受到人们的重视。为了搞好新时期的管理
目前的高校教学团队理论与实践研究成果对团队的理论内涵、制度保障和物资分配等关注较多,对普通高校公共课、高职院校教学团队的关注较多。研究者应注重对教学团队的内部管
目的探讨胰腺常见囊性肿瘤的MSCT和MRI表现特征及其鉴别诊断要点。方法回顾性分析经手术病理证实的41例胰腺囊性肿瘤[浆液性囊性肿瘤(SCN)10例,黏液性囊性肿瘤(MCN)14例,导管
目的对采用大剂量化疗结合自体外周血造血干细胞移植及免疫治疗的3例横纹肌肉瘤患儿的疗效进行观察。方法 3例横纹肌肉瘤患儿,年龄为3、10、14岁,强烈化疗5、6、11个周期,平
“在个体层面,价值观表达宽泛的跨情境的动机目标,影响着个体对情境、偏好、选择以及行动的解释”(Knafo, Roccas,&Sagiv,2011),对价值观的跨文化研究是跨文化交际研究的内核之
目的探讨放射治疗妇科盆腔恶性肿瘤所致放射性肠炎(RE)的MRI特点。方法回顾性分析28例妇科盆腔恶性肿瘤放疗所致RE患者的临床和MRI资料。结果 RE以直肠发病多见,28例RE中,直
森林被誉为“地球之肺”,它不仅为人类提供有形的物质资料,也为社会提供环境服务(如涵养水源、保育土壤等)。人们已逐渐认识到森林生态系统的重要性,因此对其服务价值如何补
最新颁布的《大学英语课程教学要求》中把“培养学生自主学习英语的能力”作为教学的主要目标之一,迫切呼吁教师和高等教育管理部门创造条件培养学生学习的自主性。然而许多高