基于智能计算的深度学习模型优化研究

来源 :中国地质大学 | 被引量 : 0次 | 上传用户:cookid
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的飞速发展,地球科学数据以指数形式增长,呈现出数据量大、更新快、多极化、多角度、高速发展等大数据特征。因此,如何从这些海量的地球科学数据中挖掘有价值的信息,成为新时代数学地球科学领域的工作重心。深度学习作为近年来机器学习领域的热点研究对象,具有从复杂数据中自动提取高级表示的能力,在解决目标检测、遥感图像识别等大数据问题上无疑具有巨大潜力。然而,深度学习在地球科学大数据挖掘与分析中仍处于探索阶段,要想充分挖掘深度学习模型在地球科学数据应用中的潜能,还有许多问题亟需解决。尤其是,目前深度学习算法本身在超参数设置和网络架构设计方面没有标准的确定方法,几乎都依赖于人工设计,无法完全避免人工的干预。而且,在海量数据的背景下,深度学习算法的超参数少则几十个,多则上百,各个超参数对深度学习模型的影响并不是独立的,人工设置难免出现偏差。因此,有必要研究自动化的参数优化方式,真正实现自主、高效、准确地为深度学习模型获取更优的参数组合。智能优化算法(如遗传算法、粒子群优化算法)具有优异的为复杂函数进行参数寻优的能力,可高效、准确地优化深度学习模型的参数。本论文的工作主要围绕如何使用智能优化算法为深度学习模型的参数进行寻优而展开,分别从理论层面和应用层面研究了深度学习模型的参数寻优问题,并通过实验验证了本文设计的算法可以有效地为深度学习模型获取更优的参数组合。本文的主要研究内容和创新点如下:(1)设计了基于智能优化方法的两阶段超参数优化算法。目前,深度学习模型中参数的确定主要依靠人工经验完成,难以避免产生偏差。针对这一问题,本文设计了两阶段优化算法,高效、准确地获得具有最优超参数组合的深度学习模型。综合考虑效率和精度,本文所设计的两阶段卷积神经网络优化算法在基于Cifar-10和Cifar-100数据集的图像分类任务表现上综合效果更佳。对于不同的卷积神经网络模型,本文通过智能优化算法得到的Single Stage和Two Stage卷积神经网络模型在RSP数据集上性能表现均优于另外三种传统的卷积神经网络,进一步验证了本文所提算法的实用性。(2)提出了针对深度学习模型初始权值的自动优化算法。权重值的初始点决定了深度学习模型是否收敛以及收敛的速度,一个好的初始权重值可以有效地提升模型的训练效率。本文以深度学习模型的权重值为决策变量,设计了基于智能优化方法的深度学习模型初始权值优化算法,通过智能寻优过程自动搜寻深度学习模型的训练起始点,从而实现加速模型收敛的目的。通过与其他权值初始化算法对比,该算法得到的深度学习模型在基于Cifar-10和Cifar-100数据集的图像分类任务表现上效果最佳,取得了最优精度值。在保证同样训练精度的前提下,对比不同的权值初始化方法,本文所提的初始化权值优化算法在RSP数据集上能够更快地达到稳定精度,收敛速度更快,效率也更高。(3)设计了针对Retina Net目标检测框架的超参数优化算法。基于深度学习的目标检测框架也存在会影响检测精度和效率的超参数设置问题。本文选取One Stage目标检测框架Retina Net,对Retina Net框架自带的超参数进行了智能优化研究,并通过对比实验验证了经过超参数优化的目标检测框架在目标检测精度上效果更好。(4)构建了经过智能优化算法进行参数优化的卷积神经网络模型,并实际应用到遥感影像黑棉土的识别中。通过对比实验和在实际遥感影像样本上的分类效果对比测试,进一步验证了算法的有效性和实用性。
其他文献
结肠癌是一种常见且恶性程度较高的消化道肿瘤。发病率居消化系统恶性肿瘤首位。目前,结肠癌的主要治疗方法是以手术治疗为主,结合放射治疗、化学治疗、免疫治疗、分子靶向治疗及中医药治疗等多手段综合治疗。因结肠癌的早期症状不明显及国内患者缺乏常规早期筛查,以至于在结肠癌患者确诊时,病情大多已发展到中晚期,严重威胁患者生命。尽管近年来结肠癌的治疗取得了进展,但其预后仍不理想,而手术后的转移性复发是死亡的主要原
教学最初的形态是通过“身教”方式来进行的,长辈或者师傅通过在现实场景中的示范来让儿童同时跟着学和做,这是一种让身体充分参与的教育。但当我们今天再回顾这种身体与教学的联系时,会发现今天的学校教学中身体的声音在日渐式微,学校教学不断朝着这样的趋势发展,即教学过程中越来越不注重具体的、亲自动手的思考活动。学习逐渐变为一种单纯的心智活动过程,学习成为了一个静思的过程,具体来说就是被动表征知识符号并对其进行
α-L-鼠李糖苷酶(EC 3.2.1.40)是一种糖苷水解酶,可以水解黄酮、皂苷、萜烯糖苷、甜菊醇类等天然糖苷的末端L-鼠李糖残基。近年来,由于α-L-鼠李糖苷酶在食品行业中具有如提高果汁质量、为酒类增香、制备甜味剂等,和在医药行业中如制备抗生素、制备生物活性物质等的重要应用价值,越来越受到人们的关注。虽然国内外已有商业化的产品问世,但是价格昂贵。目前α-L-鼠李糖苷酶的表达水平较低,同时,由于糖
空间光学遥感技术被广泛应用于地形测绘、资源普查以及军事侦察等领域,为了获得清晰的高质量遥感图像,对空间相机的分辨率提出了更高要求。增大空间光学相机的焦距与口径是实现高空间分辨率的直接手段,但是对于大口径、长焦距、反射式光学系统来说,其结构具有比刚度高而绝对刚度低的特点,在空间微重力环境下易受到星上各类扰动源(太阳翼驱动机构、姿态控制飞轮等)产生的微振动的影响,其中姿态控制飞轮是可见光遥感卫星主要的
目的腧穴配伍是决定临床疗效的关键因素,选穴不同直接导致针灸效应差异。如电针“足三里”可增强胃动力,电针“天枢”则引起胃舒张,其作用的不同可能是由于针灸刺激作用于大鼠腹部时激活了胃肠的交感神经而抑制胃肠运动,作用于四肢时则激活副交感神经对胃肠运动产生促进作用,而胃肠动力异常是胰岛素抵抗(IR)性肥胖的重要病理因素。然而与此矛盾的是,临床治疗IR性肥胖时经常将腹部和四肢部穴位联合应用。腧穴配伍只有发挥
学位
学位
卵巢癌是致死率最高的妇科恶性肿瘤。近期,赫捷院士团队发布了覆盖3.8亿人口的中国最新癌症数据,该研究显示,2016年中国卵巢癌新发病例数57200例,死亡病例数27200例。美国癌症协会(American Cancer Society,ACS)的最新统计数据显示,2021年美国卵巢癌新发病例数21410例,死亡病例数13770例。死亡率在女性肿瘤患者中居于第五位。在全球范围内,卵巢癌患者五年生存率
退耕还林工程的主要问题之一是怎么合理补偿参加工程的农户,这也是工程能否取得成功的关键。但是在实践过程中,现行标准的补偿方式慢慢显现出众多弊端,如补偿对象和目标挑选不合理、“一刀切”的补偿标准、补偿生态效应评价不合理等。这主要是由于在设定补偿机制时,没有考虑到空间的异质性。生态补偿具有地理学的属性,必然会受到地理区域不同的影响。在各种自然因素活动的影响下,造成了空间的外部经济,使补偿的生态服务项目具
随着列车运行速度的提高,由线路不平顺激振引发的随机振动对轨道车辆的平稳性、舒适性和疲劳寿命以及车载设备的可靠性均产生了重要影响。车载设备通过紧固件安装于车辆上,目前执行的振动标准中,车载设备在随机激励作用下的环境适应性以及车辆的随机响应研究以相对独立的体系进行,两者之间的相互作用难以计入;同时,车辆类型、设备安装位置、运行线路状态等因素对系统随机响应的影响也很难体现。目前车载设备环境适应性校核的主