基于进化算法的神经网络结构搜索

来源 :云南大学 | 被引量 : 0次 | 上传用户:sbtlan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习不断的发展,在图像识别领域中神经网络的结构越来越多了,因此有科学家将神经网络利用到了其它的领域中,如流量预测,文本分析等领域,同样取得了优秀的成果。但是在迁移神经网络到其他领域中的时候,直接迁移图像识别的神经网络结构,大多数情况下在新的领域中无法得到一个优秀的结果。因此有人提出了神经网络结构搜索的概念。早期的神经网络搜索方法,都是利用反向传播的原理来进行神经网络的搜索,并且每次采样的神经网络结构都需要重新训练耗费大量的时间。同时在训练的时候,因为权重参数和神经网络的结构参数同时更新,造成了节点权重参数的高度耦合。因此本文中提出了基于进化算法的神经网络结构搜索,主要有以下优点:(1)使用了参数共享的策略。在神经网络搜索前,训练一个超级网络,在神经网络结构搜索过程中,每次采样的结构,只需要从超级网络中直接继承权重参数,在数据集上直接进行推断,得出准确率。这样避免了训练每一个采样结构,提高了神经网络结构搜索的速度。(2)在本文中,训练超级网络的时候,每次只随机激活一条路径来进行训练。这样的训练策略,首先可以降低训练超级网络时各个节点之间因为同时更新造成的高度耦合。其次,因为每一次只有一条路径参与到反向传播中,训练的速度得到了大幅度的提高,并且对内存和GPU资源的消耗急剧下降。(3)在利用粒子群算法对神经网络结构进行优化的时候,避免了反向传播的操作,同时避免了神经网络结构参数的连续化,使得在做结构搜索的过程中更加准确,快速。(4)在神经网络搜索的过程中,引入了多目标优化算法NSGA-Ⅱ,可以同时针对多个目标进行神经网络结构的搜索,这样更加贴近实际问题,使神经网络结构搜索能够应用到更广阔的领域。
其他文献
毫米波是第5代移动通信系统的重要通信技术,因其频谱特性可以利用大带宽承载大量信息,有效提升系统的吞吐量。但高频段毫米波传输具有高损耗性,且受环境影响较大,为了支持非视距和移动性,必须支持准确且实时的波束跟踪以确保信号传输质量。波束管理的目的是使得基站与UE之间发送与接收波束对准以提高链路的性能。本文根据3GPP协议规范设计了波束管理方案,主要工作如下:(1)对高频毫米波波束管理所使用的参考信号进行
玉米(Maize)是我国三大粮食作物之一,播种面积和产量居粮食作物之首。玉米在国家粮食安全战略中处于突出位置,在保障未来我国粮食供应需求方面起着重要作用。玉米种子质量的优劣直接影响玉米栽培的产量。当前,玉米种子生产基本实现了标准化生产。玉米种子在收获后大多采用工厂化高温(45℃)、快速(24-48 h)烘干的方法进行脱水干燥,而在种子进行高温、快速脱水时,由于种子的成熟度、种子的大小很难均匀一致,
山西黑猪作为一种地方性杂种猪,因其具有适应性强、遗传性能稳定、产仔能力强、肉质鲜美等特点已得到业内人士的广泛认可,具有广阔的开发前景。钙蛋白酶是影响猪肉嫩度及持水性的关键内源酶,UK114是m-钙蛋白酶(μ-calpain)的主要激活蛋白之一。因此本研究以山西黑猪为试验对象,向猪背最长肌中注射10%肉重的重组UK114蛋白、calpastatin和钙蛋白酶粗酶液,将各处理组都置4℃条件下贮藏不同时
试验旨在研究发酵木薯渣(FC)替代不同比例王草对海南黑山羊生长性能、瘤胃发酵、血液指标、屠宰性能及肉品质的影响。选用24只体重为21.98±1.59 kg的海南黑山羊,随机分为4组,分别为对照组、LFC组、MFC组和HFC组。对照组饲喂由混合精料和新鲜王草组成的基础日粮,LFC组、MFC组和HFC组分别用FC替代日粮中10%、20%和30%的王草。饲养试验期为70 d,其中预试期10 d,正试期6
杜梨(Pyrus betulaefolia Bunge)适应性强,与梨树嫁接亲和力高,是我国北方梨产区梨树的主要砧木。目前杜梨主要以种子繁殖为主,由于后代变异多,极易造成苗木良莠不齐。成龄杜梨树无性繁殖的生根能力较弱,已成为制约优良杜梨砧木株系推广的重要因素。通过复幼的方式来提高杜梨生根能力,对于建立快速、高效的杜梨快速繁殖体系具有重要的意义。本研究以多次继代的复幼杜梨组培丛生芽为材料,筛选了丛生
卵白蛋白在食品及医药领域中具有广泛的用途,物理法改性卵白蛋白,可以使蛋白质分子的结构发生变化,进而改善或者提高卵白蛋白的生物活性。高血压是一种对人类生命极具威胁的疾病,而ACE抑制肽具有调节血压的效果,在生物活性肽的研究领域中有着很高的热度,并且现在有许多的研究结果可以用来表明来源于食物的生物活性肽具有ACE抑制活性。本文主要以卵白蛋白为研究对象,运用超声及水力空化装置,研究超声及水力空化对卵白蛋
磁悬浮飞轮储能系统是一种在电磁轴承支承下进行惯性储能和释放能量的机械装置,凭借能耗低、污染小、使用周期长以及维护方便的优点,使它在储能方面有很大的应用前景。由于高转速的磁悬浮飞轮储能系统运行转速往往在一阶临界转速之上,且转子系统与轴承之间的气隙很小,其振动量不能超过气隙值。因此本文以立式磁悬浮飞轮储能系统为研究对象,对转子系统的临界转速及不平衡响应进行分析。首先建立转子系统的动力学模型。分析整个磁
基于超级电容器的高功率密度优势和锂离子电池的高能量密度优势的复合储能体系,即锂离子电池电容,已成为近些年电化学储能器件开发的一个重要方向。随着锂离子电池和超级电容器在电解液、负极材料和正极材料方面的创新,研究开发具有高能量密度、高功率密度、长循环寿命的锂离子电池电容对于扩展电化学储能器件在诸多领域方面的应用具有重要意义和巨大潜力。本论文选用高容量锂离子电池正极材料Li Ni0.8Co0.1Mn0.
传统作业机器人由于基座固定的限制,很难完成其可达范围以外的工作,致使作业能力受到限制,移动机器人技术相应产生。作为目前科学研究的热门领域,移动机器人集成了动态规划决策、环境感知等多方面技术,其中足式移动机器人系统更是由其强大的环境适应能力受到各方研究机构的青睐。本文建立多足机器人与机械臂的耦合模型,并对其姿态及稳定性加以研究。综合多足作业机器人系统的作业能力,设计出一款适用于水下环境的六自由度作业
随着现代科学技术的不断向前发展,随之而来的是各类零件与新产品的不断出现,所需要加工的零件造型也越来越复杂,对多轴机床的加工能力也提出了更高的要求。对于传统的线性插补方法,存在以下问题:1.复杂曲线拐角处的加工精度低2.在拐角处的插补过程中加速度反复变化,导致较大的加工误差和较低的加工效率。针对上述问题,本文利用五轴数控机床,基于后置处理的基础之上,采用通用语言JAVA和Eclipse开发平台,开展