融合多种相关性的光场图像超分辨率算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:dishunzhaopin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
四维光场图像在生物医学、工业光学检验、深海探测等领域有着较为广泛的应用,然而普遍较低的空间与角度分辨率,限制了其应用场景。因此,光场图像超分辨率成为了计算成像领域的一个重要研究课题。近年来,基于深度卷积神经网络的光场图像超分辨率技术取得了重大的进展,然而现有的光场超分辨率技术仍然面临重建保真度低、网络模型参数量过大、泛化能力差等问题。针对这些问题,本文从性能提升、轻量网络、模型泛化等三个方面展开研究,利用并结合每个问题下可用的多种光场图像相关特性,探究并设计对应的算法,具体内容如下:在性能提升方面,本文提出了结合内部与外部相关性的光场图像超分辨率算法,该算法结合了内部相关性与外部相关性方法各自的优势,提升了算法重建性能。首先,该算法改进了传统的投影法,用于更好地利用光场图像内部相关性,同时,该算法也设计了基于对齐与融合的神经网络方法,用于更好地利用光场图像外部相关性。随后,通过对上述两种方法进行定量与定性的分析,本文发现了内部与外部相关性之间具有互补性,并据此提出一个逐像素自适应融合网络,通过学习加权矩阵来结合两种相关性的优势。与基准方法相比,无论是在合成的还是真实的数据集上,本文的方法都展现出了重建性能的优越性。在轻量网络方面,本文提出了结合空间-角度自相关性与互相关性的光场图像超分辨率方法,该方法对四维光场空间维与角度维自身信息与二者相关信息进行分别提取利用并结合,用二维卷积构建了高效的光场特征提取模块,使得搭建的网络足够轻量化的同时也有优异的重建性能。具体而言,本文首先分析了轻量型的空间-角度分离卷积模块在几何信息建模上的缺陷,据此提出利用空间-角度互相关性来提取几何信息,构建了空间-角度关联卷积模块。随后,通过误差与特征分析,本文验证了上述两种模块在四维光场特征嵌入上的互补性,并据此提出了空间-角度全能卷积结合二者的优势。在光场空间、角度超分辨率两个重建任务上的实验表明,基于本文所提出的模块的网络能够在使用更少参数量的情况下,相比于基于空间-角度分离卷积的方法以及其他基准方法获得更加优越的重建性能。在模型泛化方面,本文提出了结合跨尺度与跨视角相关性的零样本学习光场图像超分辨率算法,该算法构建零样本学习训练框架以利用跨尺度相关性、搭建神经网络以利用跨视角相关性,并通过训练策略将二者进行结合,以充分利用单张光场图像自身的信息。具体而言,该算法直接从输入的低分辨率光场图像本身提取样本,并将这些样本用于网络训练,以学习对参考视角的超分辨率映射。同时,基于对零样本学习设定下训练样本受限时各网络训练表现的观察,本文提出“分而治之”的网络搭建与学习策略,以结合利用跨视角相关性提升重建性能,并减少端到端策略下的学习压力。此外,本文还基于该零样本学习方法进一步提出误差引导的精调算法,用于进一步结合外源数据集提供的外部相关性,进一步提升算法的鲁棒性和泛化能力。大量的实验证明了本文所提方法不仅超越了经典非学习方法,还能够在域间差异较大时,相比于基准的深度学习方法更好地泛化到目标域的光场图像。
其他文献
在托卡马克等离子体中,电子能量超过一定阈值后其受到的碰撞阻力会小于其受到的电场加速力,之后这部分电子就会被持续加速到很高的能量,这一现象被称为电子逃逸现象,这些电子被称为逃逸电子。这些高能逃逸电子一旦损失出去会对装置第一壁等面向等离子体的部件造成严重的损害,甚至使其局部熔化。目前逃逸电子仍然是威胁未来托卡马克类型磁约束核聚变反应堆安全的一个重要、尚未解决的关键科学问题,因此迫切地需要寻求缓解或抑制
我国依托于空间站的建设,开始发展大规模多色成像与无缝光谱巡天,即中国空间站工程巡天望远镜,简称CSST。巡天模块作为构成CSST的五大模块之一,选用了 24块高衍射效率的透射光栅作为色散器件,在焦平面之前对255 nm~1000 nm波段的光线进行色散分离。在复制光栅的方案中,因为现有材料对紫外波段(工作波段为255nm~420nm)的强烈吸收,会显著降低通光效率,减少望远镜巡天观测的星等范围。针
多孔有机聚合物因可观的比表面积、连续的孔道结构、丰富的结构设计以及灵活的制备手段等优点被广泛应用于分离纯化、能源动力、高效催化等领域。因多孔有机聚合物优异的孔道性质,被认为是可以突破膜材料选择性和透过性相互制约限制的新一代材料。然而,大部分的多孔有机聚合物都具有高度交联的框架结构,因而难以通过溶液加工或熔融加工的方法制备成膜。这一问题极大限制了多孔有机聚合物在膜分离材料中的应用。界面聚合的方法可以
<正>切实把思想和行动统一到习近平总书记对北京重要讲话精神上来,旗帜鲜明讲政治,坚决做到"两个维护",全力推动党中央决策部署贯彻落实。刚刚过去的2019年是新时代的重要历史节点,大事多、喜事多,做好首都工作任务艰巨、责任重大。北京市委办公厅牢记职责使命,高举习近平新时代中国特色社会主义思想伟大旗帜,增强"四个意识"、坚定"四个自信"、做到"两个维护",坚定不移推动党中央决策部署在北京贯彻落实,坚定
期刊
随着城市化进程的稳步推进与人口规模的日益扩大,人群聚集的情况越来越普遍,大量密集场景存在着诸多安全隐患。为了预防突发事件,保障人民安全,智能监控系统引起了社会的重点关注。人群计数作为该系统的重要组成部分,旨在准确估计图像中的行人数目与密度分布,在城市规划、交通管控等领域有着广泛的应用。特别是最近两年,新冠肺炎席卷全球,监测和分析高密度人群可以提供有效的疏散计划,是控制疫情大面积蔓延的必要手段。随着
化学动力学治疗(chemodynamic therapy,简称为CDT)是由肿瘤微环境(tumormicroenvironment,简称为TME)内源性化学能激活的、无需外界刺激的治疗手段。依靠芬顿/类芬顿(Fenton/Fenton-like)反应,CDT试剂可以催化TME中过量的、毒性较小的过氧化氢(H2O2)产生极具细胞毒性的活性氧(reactive oxygen species,简称为RO
实现碳中和这一长远目标离不开清洁型能源-氢能的开发,利用可再生能源发电进行电解水制氢是最理想的绿色制氢方式之一。电解水制氢包含析氢反应(HER)和析氧反应(OER),开发高效的HER和OER电催化电极,降低水分解反应的过电势和能耗,提高能量转化效率,是推进电解水制氢迈向实用化的关键。虽然贵金属及其氧化物如:Pt、Ir、IrO2、Ru和RuO2等具有优异的电催化活性,但其高昂的成本难以满足大规模应用
由于云计算简单方便且成本低廉,海量用户推动了现代云计算平台的蓬勃发展。作为一种新的计算和服务模式,云计算通过将大量高性能物理服务器和网络设备等资源抽象为一个巨大的共享资源池,向用户提供无处不在的、方便的、按需的服务。近年来,用户数量的增长造成更多的资源需求,而资源池容量会受到基础设施(如服务器、交换机、机柜)的尺寸、价格、性能以及能源开销的限制,云端资源愈发紧张;因此云服务的性能保障和优化愈发重要
随着信息技术的快速发展和互联网的全面普及,人类的生产生活已经进入了数字时代。数据,作为一种信息载体,已经成为一种基础且重要的生产资料。在云计算和大数据技术的支撑下,人们可以更好地管理数据并从海量数据中挖掘新的价值。然而,在充分享受大数据带来红利的同时,个人隐私和企业敏感数据的保护也不容忽视。查询是数据分析和处理过程中的一种常见操作。查询的结果可以是满足查询条件的数据记录本身,也可以是一组数据上的某
缺陷工程对半导体光伏器件至关重要,全面深入地理解缺陷形机理并合理调控缺陷有利于实现高效的太阳能源转化。准一维(Q1D)结构的锑基硫族化合物Sb2S(e)3(Sb2S3,Sb2Se3和Sb2(S,Se)3)是一类新兴的太阳能电池光收集材料,具有优异的光电性质。然而,该类太阳能电池由陷阱复合导致的严重开路电压(VOC)赤字则是制约其发展的巨大阻碍。因此,增进对Sb2S(e)3的缺陷性质基础认知和理解,