【摘 要】
:
深度学习在图像识别、语言建模、机器翻译等复杂任务上展现出了巨大的优势。然而,这些任务的成功大多得益于针对特定任务而人工设计的专用神经网络架构。人工设计神经网络架构会耗费大量的时间,不仅需要反复测试,而且需要设计者拥有一定的专业知识和设计经验。鉴于此,越来越多的研究者开始探索神经网络架构搜索的方法。在该研究领域,大多相关工作采用如下流程:首先定义搜索空间,限制算法可以搜索的网络范围;通过强化学习、神
论文部分内容阅读
深度学习在图像识别、语言建模、机器翻译等复杂任务上展现出了巨大的优势。然而,这些任务的成功大多得益于针对特定任务而人工设计的专用神经网络架构。人工设计神经网络架构会耗费大量的时间,不仅需要反复测试,而且需要设计者拥有一定的专业知识和设计经验。鉴于此,越来越多的研究者开始探索神经网络架构搜索的方法。在该研究领域,大多相关工作采用如下流程:首先定义搜索空间,限制算法可以搜索的网络范围;通过强化学习、神经进化等搜索方法不断采样搜索空间得到网络架构;借助性能评估策略得到网络架构的性能度量指标,并反馈给搜索方法;通过采样和评估的不断迭代最终得到最优的网络架构。在众多神经网络架构搜索方法中,基于梯度的架构搜索方法由于其高效性得到更多专家学者的青睐。然而,大多数基于此的研究都是对算法的优化或是性能评估策略的改进,忽略了对搜索空间的探索。鉴于此,本文提出一种在神经网络架构搜索中实现层次模块化表示的方法以进一步探索搜索空间。本文提出的神经网络架构搜索方法称为基于可微架构搜索的层次模块化表示方法(HMR-DARTS)。该方法采用通用的8种操作作为初始操作,使用P_DARTS算法在初始操作中演化得到第一层级模块,将得到的第一层级模块作为第二层级搜索的初始操作进而得到更加复杂的二级模块,最后,使用二级模块组成最终的网络。为了验证算法的有效性,我们使用了图像分类的基准数据集CIRAR-10,并将不同层级的网络性能进行对比。同时,也将不同类型的神经网络架构搜索算法进行比较。实验结果表明,HMR-DARTS算法与目前最先进的神经网络架构搜索算法相比有较强的竞争力,在CIFAR-10数据集上与P_DARTS算法相比平均提高了0.06%的准确率。
其他文献
随着信息技术的飞速发展,各式各样的信息数据给人们带来不同的有用信息,其中不平衡数据集内所蕴含的有用信息逐渐被人们挖掘和使用,不平衡数据集内部数据分布严重不平衡且其中的有用信息大概率都只占有相对较少的数量,但其中的少数类事件的发生对其所属的领域有着很重要的使用价值,由于少数类样本的稀少性,需要研发人员投入更多的精力去分析和挖掘其中的有用信息。在众多对不平衡数据集的采样算法中,SMOTE算法的提出有效
玉米(Zea mays L.)作为我国重要的作物之一,其产量对国家农业的经济发展起着重要作用。因此,多途径创新玉米新种质选育玉米新品种已成为当前农业关注的重要问题。在玉米遗传转化技术中,优良的转化受体材料至关重要。体细胞胚胎因其具有双极性、无性系变异小、稳定性高、分化及移栽成活率高等特点成为植物遗传转化的良好受体材料,而玉米的体细胞胚胎形成较为困难,其发育过程的研究仍相对较少,所以玉米体细胞胚胎发
常量元素磷(P)是植物生长发育所必需的营养元素,生产中磷匮乏会严重影响植物生长以及作物产量。低磷胁迫下,植物会通过自身的应激系统提高抵抗逆境的能力,清除对生长不利的影响因子,降低对自身的损害。同时植物还能够通过改变根系构型来提高自身对环境中磷的吸收能力。因此,良好的根系形态是植物面临低磷胁迫时吸收营养元素的基础。独脚金内酯(Strigolactone,SL)及其衍生物(GR24)是近年来发现的一种
人体长时间接触丙酮气体可能会引起各种的负面生理影响,例如呕吐,痉挛,昏迷,中枢神经系统麻醉和肝损害等等。此外,医学诊断研究表明糖尿病患者的呼出气体中丙酮的浓度高于健康人。因此,为了确保人身安全和糖尿病的早期诊断,开发高效检测微量丙酮的气体传感器具有重要的科学意义。氧化物半导体气体传感器因其小体积、可集成及在线检测等优势,一直是气体传感器领域研究热点。AB_2O_4型尖晶石氧化物由于高催化活性以及灵
垄栽稻田养殖,是一种采用水稻垄作梯式栽培,实现垄沟蓄水,垄上半浸润式灌溉,充分利用稻田空间,采用生态的种养殖方法,生产有机水稻、鱼和鸡等动物的稻田养殖模式。本文设计了两种水稻品种下的多种垄栽稻田养殖模式,通过与垄栽单一水稻种植进行对比,分析了在垄栽稻田养殖模式下,水稻生长过程中土壤和水稻植株养分含量的动态变化影响以及垄栽稻田养殖对稻米蛋白质、氨基酸等营养品质指标的影响,为揭示垄栽稻田养殖模式对土壤
随着互联网的快速发展,网络服务成为了新时代不可或缺的需求,网络攻击也随之成为了越来越严峻的危害之一。分布式拒绝服务(DDoS)攻击是网络攻击中的典型代表之一,而低速率分布式拒绝服务(L-DDoS)攻击作为DDoS攻击中的一种新类型攻击,具有隐蔽性更强、危害性更大的特性。当前对L-DDoS攻击的检测方法中大多采用单一的检测算法,这些算法在网络中出现多类型L-DDoS攻击时存在检测误警率和漏警率较高的
“9 ·11”事件后,许多民主国家为维护国家安全出台大量反恐立法,陆续爆出虐囚、侵犯公民隐私权和言论自由等压制人权的行为,引起学者对国家安全与自由冲突的讨论。然而,民主国家的人权压制程度是否增强,恐怖袭击的威胁与人权的加强是否有相关关系缺乏统计上的检验。再者,民主国家的人权压制行为与恐怖袭击的相关关系是否是“9 · 11”之后的“突变”有待检验。现有对恐怖袭击与人权压制关系的研究并未区分民主国家和
面对社会矛盾的激发,基层公安民警一方面需要及时回应并化解民间的冲突,另一方面还需要不断提高自身素质和能力以应对上级严格的检查与考核。在这双重压力下,基层公安民警的
近年来,随着无线通信技术的高速发展,对多输入多输出(MIMO)系统研究和应用已经成为通信领域的重点研究方向。MIMO在分集与容量方面的性能比一般系统都优越,加上预编码技术、空时编码以及空间复用等技术应用,已经在无线通信领域取得了比较明显的进展。由于接收机的复杂度可以通过对发射端进行线性预编码技术来降低,因此本论文主要研究内容是针对在不同信道特性以及不同标准下,对多输入多输出无线通信系统的抗干扰抑制
作为南太平洋最美丽国家之一的新西兰,除了拥有良好的畜牧业和自然环境之外,还是一个福利制度十分健全的国家,生育及儿童福利政策、全民免费医疗、养老金制度、教育福利政策、特殊群体救助、家庭补贴等福利项目一应俱全。新西兰高福利制度的目的在于确保人民的基本生活得到保障,同时帮助遇到困难的新西兰人渡过难关,社会福利部门一直努力解决人们的困难问题。再加上新西兰完善的服务设施、最大程度的社会公平以及细致周到的人文