高效的深度集成架构搜索算法与系统研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:l123654123654
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,以深度神经网络为代表的深度学习方法在图像、文本、语音、视频等任务中取得了巨大的成功,其中“深度”的思想被认为是深度学习的关键。然而,在实际应用中,深度神经网络面临着计算开销大、训练集规模要求高、不能很好地支持表格型数据集等问题。为解决上述问题,学界开始尝试融合“深度”的思想和集成学习方法的优点,并研究提出以深度森林为代表的深度集成学习模型。与DNN架构设计类似,针对不同的输入数据集以及任务场景设计一个性能优异的深度集成架构需要大量的专家知识和经验,并需要反复尝试不同基学习器类型与基学习器集成方式等各种超参数的组合,费时费力。近年来,神经架构搜索(Neural Architecture Search,简称NAS)技术引起了工业界和学界的广泛关注。受到NAS的启发,本文将研究实现高效的深度集成架构搜索方法,针对特定的数据集和任务场景自动化地搜索性能优异的深度集成架构,从而大大降低深度集成学习模型的设计门槛,提升深度集成学习建模效率。然而,深度集成架构搜索需要解决搜索空间设计、架构搜索方法设计、架构搜索优化加速等一系列难题。为此,本文首先研究设计了有效的深度集成架构搜索空间,并研究提出了基于进化算法的深度集成架构搜索方法和基于代理模型的渐进式深度集成架构搜索方法。在上述研究基础上,进一步设计实现了自动化深度集成学习系统,并通过分布式计算框架Ray对架构搜索过程进行加速。本文的主要研究点和贡献点包括:(1)通过分析已有的深度集成学习模型特点,结合NAS工作中搜索空间的研究和设计,研究设计了两种深度集成架构搜索空间,分别称为完全并行搜索空间(?CP)和有向无环图搜索空间(?DAG),提出的这两种搜索空间改变了原有深度集成学习方法以深度森林为主的情形,使得各种自动化搜索方法能够运用在深度集成学习上。(2)研究提出基于进化算法的深度集成架构搜索方法EPEAAS。在给出搜索空间定义的基础上,提出了采用基于最优个体保留进化算法进行深度集成架构搜索的方法,并通过对上述基于进化算法的架构搜索方法进行抽象,提出基于进化算法的通用深度集成架构搜索算法框架。实验结果表明,EPEAAS在分类和回归任务上相比集成学习方法、神经网络、深度森林方法有着较明显的性能提升。(3)研究提出基于代理模型的渐进式深度集成架构搜索方法PMPAS。通过分析EPEAAS存在的计算开销大、搜索效率低等问题,提出从简单到复杂逐步构建深度集成学习架构的基本思路,并采用代理模型对架构性能进行预测,从而降低架构评估开销,提升架构搜索效率。实验结果表明,PMPAS在分类和回归任务上相比集成学习方法、神经网络、深度森林方法和自动化机器学习方法autosklearn均获得较大的性能提升。EPEAAS和PMPAS的对比实验结果表明本文研究提出的两种搜索方法均能有效搜索优异的深度集成架构,并具有各自的适用场景。(4)在对EPEAAS和PMPAS的研究基础上,进一步设计实现了支持自动化构建深度集成学习架构系统Auto-DEL,并通过分布式计算框架Ray对AutoDEL进行加速,以提升系统的可扩展性,并通过提供简洁易用的API,提升了系统的易用性。
其他文献
有效介质理论(Effective Medium Theory,EMT)是一种形式简单、应用广泛的均质化理论,它对于复合材料的性能预测起到了极大的作用。Maxwell-Garnett有效介质理论(Maxwell-Garnett Effective Medium Theory)是该理论的重要组成部分。全介电复合材料在深度亚波长的情况下因处于准静态而严格遵循Maxwell-Garnett有效介质理论。然
研究背景:肿瘤的上皮间充质转化(epithelial-mesenchymal transition,EMT)是具有上皮表型的细胞向间质型细胞转变的过程,它能使细胞失去极性和细胞间的黏附,使细胞获得迁移和转移的能力,在癌症的发生发展中至关重要。该过程发生时,基质蛋白酶分解细胞基质,肿瘤细胞获得转移能力,细胞离开原位置侵袭循环系统,进而在远处脏器形成转移灶。因此,EMT是肿瘤获得恶性表型的关键机制,包
围绕煤矿智能化建设,从多任务场景、多用户协同交互、交互信息多元化3个方面对智能矿山设备人机交互的特征进行了分析,介绍了虚拟现实、增强现实、脑机接口、智能可穿戴设备等新兴交互技术和图形交互、语音交互、面部识别、手势识别等交互方式在智能矿山设备中的应用,为人机交互技术在智能矿山建设中的应用提供思路。
海雾是一种发生在海洋上低层大气中的水汽凝结(华)现象,是一种灾害性天气现象。掌握海雾的分布与生消变化,能有效地减少海雾带来的危害。卫星遥感具有近实时、大范围覆盖、连续观测等特点,特别是新一代静止气象卫星观测系统,具有10分钟一次观测的特点,为更好地跟踪监测与分析研究海雾的发生-发展-消亡过程提供了高频次的遥感观测数据。论文首先利用日本新一代静止气象卫星(Himawari-8,H-8)对比分析了海雾
植物在面对外界病原菌入侵时,会通过自身免疫系统中的MAMP(微生物相关分子模式)和DAMP(危险相关分子模式)两种分子模式来应答。MAMP是由病原菌产生的物质,如细菌鞭毛蛋白flg22。DAMP是由植物自身产生的物质,如危险相关肽pep1。它们均由植物细胞上的模式识别受体PRRs识别并传递给下游,进而放大免疫信号。PRRs主要分为受体类激酶RLKs和受体类蛋白RLPs两种,植物体中的大部分PRRs
圆偏振发光(CPL)材料在受激发后会发射出左旋和右旋强度不等的偏振光,用于液晶显示和有机发光二极管器件时,可实现高对比度三维图像的显示效果,因此具有广阔的应用前景。然而,同时获得具有高发光不对称因子(gem)和高发光量子效率(ФFL)的CPL材料是一个研究难点。液晶是一种兼具各向异性和流动性的软物质,本文以发光液晶分子构建CPL材料体系,通过液晶高效的自组装过程使体系获得更加有序的螺旋结构,实现手
人工湿地技术作为污水处理的重要工艺之一,在城市废水处理、工业尾水处理、农业养殖业污水处理等方面有越来越广泛的应用。大型水生植物作为人工湿地的重要组成之一,发挥着重要的生态功能。人工湿地植物经常遭受污染浓度超标、高盐等胁迫,造成其生长不良,影响其功能的发挥,因此水生植物的筛选是人工湿地的重要工作。相关领域已开展了大量研究,不同的研究对于水生植物比较结果存在较大差异,甚至存在相反的结果,导致这些结果适
近年来,随着深度学习的高速发展,卷积神经网络(Convolutional Neural Networks,CNNs)已成为图像分类、目标检测、语义分割、深度估计等各种计算机视觉任务的主流方法。目前基于深度学习的目标检测模型往往利用大型卷积神经网络提取特征以获得更高的精度。这些模型需要高端的GPU芯片以实现实时运算。这使得目标检测模型难以部署在计算资源受限的边缘设备上。为了解决深度学习模型在计算资源
模仿学习研究智能体如何通过对给定专家示范进行模仿以学得专家策略的学习问题,近年来受到越来越多的关注。现有的模仿学习方法难以解决专家示范的状态高维、状态空间与智能体所处的环境异质、以及可能出现新动作示例的问题。本文针对这些问题开展研究,主要取得了以下创新成果:1.提出了针对高维输入的模仿学习方法Hash Reward,通过使用有监督的哈希技术对高维输入进行降维,使得奖赏函数达到“奖赏”-“判别”的平
为了研究含油结合面的接触刚度特性,本文采用分形接触理论、连续变形理论和刚度分配模型,建立了微凸体及油膜的接触刚度模型并将其耦合。通过这个模型,分析了材料特性、摩擦因数及润滑介质对法向接触刚度的影响。结果表明:接触载荷较小时,油膜刚度占总刚度比重较大;接触载荷较大时,油膜刚度占总刚度比重较小。对比模态试验与有限元结果,考虑摩擦的含油模态试验及有限元分析的固有频率均明显大于无油无摩擦情况。在考虑摩擦和