3D自然场景中的视觉显著性研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:gtghs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,计算机视觉应用领域出现了从2D视觉到3D视觉的转变,3D视觉显著性检测作为这些应用的基础,引起了广泛的研究兴趣。与传统2D显著性模型不同,3D显著性模型挖掘了场景不同模态的线索,包括2D线索、深度线索和运动线索等,有助于提高显著性检测的性能。多模态显著线索之间存在互补和竞争关系,如何有效地融合这些线索仍然是一个挑战。因此,本文基于最常用的3D数据格式之一,即RGB-D视频,重点研究了显著性检测中多模态线索融合的问题。然后,为了进一步提高显著性检测模型的性能,本文选取了近几年兴起的光场数据,它相比于RGB-D数据提供了更丰富的线索,例如焦点堆栈中的聚焦度线索。如何有选择性地利用质量不一的聚焦切片,是光场显著性模型中的挑战性问题,本文将针对这一问题进行解决。本文的主要贡献总结如下:
  (1)提出了基于RGB-D立体视频的显著性检测模型。首先对视频每一帧计算多模态显著图,包括2D显著图、深度显著图和运动显著图。在计算过程中,采用超像素内部聚类的方法计算每个超像素的代表值,避免了深度图和运动矢量图上噪声的影响。
  (2)针对多模态线索之间互补竞争的现象,提出基于超像素下条件随机场的显著图融合模型,建立全局能量函数,联合多模态显著线索的影响和邻域显著值平滑约束,并利用卷积神经网络学习多模态显著图的权重。实验结果表明,所提出的模型在两个RGB-D显著性数据集上均取得了最优的性能,定性评价结果表明所提出的模型准确定位了显著区域,并消除了多模态显著线索相互竞争带来的背景噪声,取得了与真值显著图更接近的结果。
  (3)提出了结合注意力机制的多层次循环网络模型,进行基于光场数据的显著性检测。所提出的模型由特征提取网络和聚焦切片加权模块组成。聚焦切片加权模块自适应地对不同质量的聚焦切片赋予不同的重要性,并有效地融合多模态显著线索。实验结果表明,所提出的模型在两个光场显著性数据集上均取得了最优的性能。验证了所提出的模型自适应地抑制了不准确的聚焦切片的干扰,消除了背景噪声,有效地将显著目标从复杂背景中分离。
其他文献
非侵入式负载监测通过单一传感器有效准确地监测住宅单个电器设备的能源消耗,对全球关注的节能减排问题有着至关重要的效用。除此之外,非侵入式负载监测还能有助于优化智能电网的能源管理,改进家电设计,提升运作效率。传统的负载监测方法存在着分辨率低和实时性差的弱势,特别是在家居智能化的多变场景下,既有的算法模型无法满足高精度和强迁移性的要求。
  深度学习在相关问题中表现良好,特别是对于数据量庞大的样本,可以有效进行特征提取,避免繁杂冗余的数据建模,基于高效的深度神经网络,本文提出了跨场景的实时非侵入式负载监测
近年来,随着移动手机等智能终端的普及和移动计算技术的发展,位置服务(Location Based Service,LBS)越来越受到人们的青睐,它给人们带来方便的同时,也增加了隐私泄露的风险,攻击者可以很轻易地从位置信息中提取出用户的家庭地址、健康状况、收入等信息。目前用户位置隐私泄露的途径主要有两种:(1)某些组织或机构为了科研目的公开用户的位置数据,攻击者获取这些数据后,采用大数据等相关技术,挖掘出用户的隐私信息;(2)用户在接受位置服务时,受到攻击者攻击,导致隐私泄露。因此开展LBS中用户隐私保护技
【摘要】在大型水利水电工程项目管理过程中,其涉及的范围十分广泛,因此,必须从多个角度加以考虑。本文以大岗山水电站项目为例,具体分析与阐述了大型水利水电工程项目的管理方法。  【关键词】水利水电工程;项目管理;管理方法  1、引言  结构复杂、位置固定、形式多样、体积较庞大等均为大型水利水电工程的特点,同时,大型水利水电工程的施工周期较长、涉及到的资源种类繁多及用量较大、空间流动性较高。因此,大型水
期刊
随着城市交通拥堵问题日益严重,智能交通信号控制技术作为缓解交通拥堵最有潜力的方法之一,受到了国内外广泛的关注。由于交通系统具有复杂性、动态性和非线性的特点,基于对交通系统建模的传统自适应交通信号控制算法,已经不能应对日益多变的交通流。针对这一问题,有学者提出了基于强化学习的交通信号优化控制算法,因为强化学习方法不需外界环境的具体模型,通过不断地与外界进行交互,试错学习,实时调整策略,可以在复杂交通系统中取得很好的控制效果,成为近年来研究的热点。本文基于深度强化学习算法设计了城市智能交通信号优化控制算法,本
一直以来,异常用电行为导致的非技术性损失从经济和安全方面严重影响着电网的正常运转。异常用电检测作为降低非技术性损失危害的核心问题,受到持续关注。随着我国智能电网的全面建成,电网积累了海量的历史电气数据,为基于数据驱动的异常用电检测方法奠定了基础。尽管近年来,大数据分析与机器学习技术得到了长足的发展,然而基于数据驱动的异常用电检测仍然存在以下待解决问题:1)如何降低数据质量不佳的影响;2)如何在检测算法中融入电力知识和理论;3)如何让检测算法能够在数据案例不足的情况下对异常样本精准、有效地召回;4)如何保证
近年来,低成本的多旋翼无人机凭借其机动性强、可扩展性高等优点正迅速走向民用。然而,无人机有限的续航时间和通信距离限制了其服务范围。因此,在实际应用中,通常会利用车辆搭载无人机到达目标区域的附近,然后再出动无人机执行任务。高效的车辆和无人机协同能极大地提高效率、节省成本,因此引起了学术界的广泛关注。然而,现有的相关工作大多侧重于研究车辆-无人机协同进行物流配送的场景,缺乏对无人机巡检场景的关注。除此之外,现有研究大都只考虑车辆与单架无人机协同的模式,而多架无人机并行执行任务能显著地提高效率。
  鉴于
近些年来,随着生活水平的提升,人们对体育运动的参与度越来越高。但运动的开展需要专业教练的指导和点评,动作不规范轻则达不到锻炼效果,重则损伤身体机能。动作分析技术的出现,使得人们可以随时随地了解自身动作完成情况,获得专业的点评。传统的动作分析方法主要基于运动捕获设备,存在佩戴不方便、设备高成本、方案不通用等缺点。基于视觉的相关研究很多,但基本都局限在视频动作分析的某一环节,缺少一种从视频数据到人物动作分析结果的端到端解决方案。将现有技术应用到视频动作分析中,还需要解决诸如人物运动模糊、关键点遮挡、相似动作区
随着计算机视觉技术的不断发展,作为核心问题之一的图像语义分割也越来越受到学术界和工业界的关注。图像语义分割旨在将图像中的每一个像素划分到事先定义好的语义类别当中去。通过对该问题的研究,一方面有助于理解人类视觉机制,以辅助探索图像理解和场景感知等更高层次的视觉任务;另一方面也可为自动驾驶和图像搜索等广泛的实际应用场景提供理论与技术支撑。
  现有的基于图像级标签标注的图像语义分割算法将缺失的标注信息视为一个整体进行恢复,一般首先生成图像的像素级伪标注数据,然后再使用这些伪标注数据训练算法模型。虽然这些
【摘要】水利水电工程施工质量安全,一直都是人们关注的焦点,同时与国民经济发展、造福人们生活息息相关,随着我国社会发展的脚步越来越快,建设兴修水利水电工程的项目就自始没有停下,水利水电工程是一项利民大业,不仅能够有效消除水灾,还能够充分利用水资源改善能源短缺、水源污染环保等问题。随着我国相关政策的不断落实,对于水利工程质量安全的施工,提出了更多的要求。作为工程建设中必不可少的环节,施工质量安全不仅关
期刊
随着3D数据获取的便利,3D数据大量出现,对原始3D数据质量提升的需求也愈发迫切。网格数据作为3D数据的一种主流表达形式,其高质量的恢复显得尤为重要。3D网格数据的处理流程一般包括重建和去噪这两个阶段,即先从2D观测重建出3D网格,再对3D网格进行去噪后处理。本文的3D网格重建和去噪算法旨在研究如何提高这两个阶段所输出3D数据的质量。锐利边缘是保证3D网格数据高质量且细节丰富的关键特征。然而,在以往的3D网格重建或去噪任务中,它没有引起人们足够重视,甚至常被错误地以噪声处理。在3D网格重建任务中,需要解决