基于卷积神经网络和注意力机制的细粒度图像分类方法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:zxebabi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着神经网络等人工智能技术的迅速发展,图像分类在学术界和工业界都取得了突破性的研究成果。细粒度图像分类任务是图像分类领域中的热门研究方向之一,与一般图像分类不同,细粒度图像分类的目的是在同一个类别的子类中识别其细微的差异。细粒度图像中类内图像方差大,需要找到类内局部中变化小的共性;类间图像差异小,需要找到类间局部中更普遍的不同。因此,本文主要专注于挖掘图像中局部的细微差异,从而促进细粒度图像分类性能的提升。本文基于卷积神经网络和注意力机制对细粒度图像分类任务进行研究,主要包括以下三点工作:(1)在细粒度图像分类任务中,以往的大量研究主要集中在单向提取对象或局部的特征,而没有考虑对象和局部之间及其自身在不同特征层次中潜在的有用信息,导致有利于细粒度图像分类的鉴别性特征不能被充分利用。为此提出一种基于显著性的交互反馈网络,该网络建模对象及其局部的显著性、它们之间的依赖性及各自的自我校准,通过两个基于注意力的模块自适应地学习细粒度特征:首先,在初级特征学习模块中,设计对象流和局部流来分别提取对象语义相关区域和局部语义相关区域的显著性特征;接着,通过对象和局部之间的交互,以及它们自身在不同特征层次上的反馈,构建渐进式表征学习模块,目的是将显著性特征转化为具有鉴别能力的细粒度高级特征。在CUB-200-2011、Stanford Cars和FGVC-Aircraft数据集上进行了广泛的实验,实验结果表明所提出的方法优于大多数主流细粒度图像分类方法。所提方法摆脱了以往网络在对象和局部间依赖受限和自我校准不足的缺陷,使其能够为细粒度图像分类任务捕获到具有鉴别能力的细粒度特征。(2)现有的细粒度图像分类方法主要集中于从深层网络的高级特征中提取语义信息,忽略了浅层网络中低级特征的重要性,导致现有方法定位到的局部往往具有同一语义,因局部缺乏多样性影响细粒度图像分类方法的准确性。为解决此问题,提出一种基于多级特征依赖的细粒度图像分类方法。首先,设计一个基于双向路径的多级特征提取模块,通过垂直双向路径来实现低级特征的流动,提高多样性局部的定位能力,再通过水平双向路径抑制这些局部中显著的区域,以局部精炼的形式来获取更加丰富多样的鉴别性特征;接着,在长短期记忆网络中引入注意力门控,提出一个基于注意力长短期记忆网络的特征依赖提取模块,来调整各级特征中对细粒度信息的关注度,从而挖掘细粒度特征,并增强其鉴别性。在三个广泛使用的数据集上分类准确率分别达到90.8%、95.9%和95.4%,明显优于目前主流的细粒度图像分类方法。所提出的方法能够提取多级特征并建立其相互依赖,同时保证特征的鉴别性和多样性,使得细粒度图像分类的结果更加精准。(3)为了将细粒度图像分类方法进行实际应用,本文还设计一种基于注意力字典学习的轻量级细粒度图像分类方法,其包含两个轻量级模块及高效的训练和测试过程。首先,提出一种紧凑注意力字典学习的特征表示模块,对注意力加权局部特征的过程进行稀疏编码,从而获得紧凑低秩的鉴别性特征表示;然后,设计注意力引导的数据增强模块,在反馈路径上通过已捕获的注意力对关键局部区域进行裁剪和遮挡,促使网络学习更加细微且丰富的鉴别性特征;再基于增强图像进行渐进式训练,并通过高效的测试过程来提高该轻量级方法对细粒度图像的分类效果。不仅在三个标准的公开数据集上进行广泛实验,还构建一个菜品识别的真实数据集,通过一系列实验来验证所提方法的实用性。所提出方法通过紧凑特征表示及合理数据增强,能够实现细粒度图像的高效分类,且在现实的日常生活中具有实用性。
其他文献
面对现实世界中庞大的并且时刻在增长的物体种类数量,人工标注对应类别样本的成本越来越高,并且还存在一些特定场景下的物体类别难以获取到足够样本的情况。零样本图像分类目前已经成为计算机视觉领域中有望解决该困境的研究热点之一。本文基于深度学习,一方面从生成式模型的角度出发,对零样本图像分类方法进行研究。另一方面将视觉转换器(Vision Transformer,VIT)替换卷积神经网络应用到零样本图像分类
目的:探讨肌萎缩侧索硬化症(amyotrophic lateral sclerosis,ALS)患者血清肌酐、尿酸、肌酸激酶水平及其与疾病进展的相关性。方法:纳入2019年12月至2021年11月在江西省人民医院神经内科住院的,确诊为肌萎缩侧索硬化症的67名患者作为病例组,同时期体检中心的67名健康体检者作为对照组。收集其一般资料:包括姓名、性别、年龄、身高、体重、病程长短、起病部位、既往史、家族
Suzuki偶联反应是有机合成化学中高效构建碳-碳键的重要方法之一,贵金属钯则是这类偶联反应的经典催化剂。区别于传统的均相钯催化剂难以回收和重复利用、与反应产物难分离等缺点,磁性纳米粒子负载钯催化剂具有催化活性高、催化剂在外加磁场作用下可快速分离回收及重复使用等优点,已成为一类具有良好应用前景的纳米催化剂,在国内外学术和工业领域受到广泛关注。本文综述了近5年来磁性纳米钯催化剂在Suzuki偶联反应
高中地理课程专业性较强,与历史、人文等知识有着紧密联系,打造高效课堂教学对提升学生专业能力和水平有着重要现实意义。当前教育领域极力强调核心素养,基于新课程标准下的高中地理教学同样重视培养学生核心素养,在一定程度上可有效深化地理教学改革效果,切实提升地理教育教学质量。对此,本文则从多方面分析基于新课程标准下高中地理教学策略,望给予相关研究者提供参考。
茶文化是我国传统文化体系中的重要组成部分,在汉语教学中进行茶文化教学,不仅可以加强学生对中国传统文化——茶文化的认知,还能有效提高学生的汉语交际能力。为此,本文主要围绕汉语教学中的中国传统文化教学——茶文化展开探讨,希望可以增强学生的专业性知识,实现对学生文化视野拓展的目的。
采用超高压(100~400 MPa)技术对薏仁进行处理,分析处理后薏仁的含水率、白度、透光率等外观品质;最适蒸煮时间、持水率、膨胀体积等蒸煮特性,以及硬度、弹性、黏聚性、咀嚼度等质构特性的变化,研究超高压处理对薏仁蒸煮品质和食用品质的影响。结果表明,超高压处理后薏仁含水率提高、白度增加、透光率略有降低;相比于未经超高压处理的薏仁,处理压力较高时薏仁的最适蒸煮时间大为缩短、熟制薏仁的持水率在300
随着我国教育体制改革的持续深入,各学科的教学方式也在不断发生着变化,而不论何种改革模式,其最终目的都是通过教育革新去发掘并采用最优的教学方式,以达到更好的教学效果。高中地理课主要是通过对地图和其他相关知识的学习来内化学生的分析和应用能力,而在新课改视域下,高中地理的教育方向及教育手段又将有所变化。基于此,笔者从地理教学的实际出发,分析新课标下高中地理教学中出现的问题,并结合笔者在实际工作中所遇到的
目前我国正处于突发公共卫生事件的爆发期,由于突发公共卫生事件的突然性、迅速性和快速蔓延等特点,对我国人民的生命健康安全和经济政治社会的发展都造成了巨大的威胁和严重的危害,更对国家社会治理和执政能力提出了重大的挑战。这次新冠肺炎疫情的专项资金审计极为特殊,环境更加复杂,需要考虑的外部因素更多,受关注程度更高,所以挑战更大。同时新冠肺炎疫情作为突发公共卫生事件,其防控专项资金作为审计的重点,面临的难度