深度共享集成网络的研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:asijhvherjknvn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习通过多层特征提取方式,可以将原始复杂数据自动表征为高级抽象特征,该方法具有很强的建模能力,在模式识别、语音识别、自动驾驶、人机对弈、计算机视觉、自然语言处理等高维复杂问题上都取得了突破性的进展。但深度学习由于网络层数深,参数规模庞大,训练时常常会产生梯度消失,陷入局部最优解,过度拟合等现象。基于深度学习结构的模型普遍存在着,需要提供大量的数据用于模型训练;训练技巧性要求高,否则训练难以收敛,或难以达到较好的结果;涉及到的参数以及超参数多,并且需要大量的人工干预等困难。集成学习方法将多个相互之间具有独立决策能力的弱监督模型,按照某种策略产生并联合起来得到一个更好更全面的强监督模型。虽然传统的集成学习的表现可圈可点,但是仍然存在许多问题,如从整体上来看,集成学习仍是浅层模型,如何将深度模型与集成学习结合仍有待解决。在本篇论文中,我们借鉴集成学习的思想,提出一种新颖的深度共享集成网络,该网络通过在深度学习各隐藏层引出多个独立输出层的联合训练的方式,在网络的各层注入梯度,对低层隐藏层进行梯度补给,从而降低深度学习中的梯度消失现象,并通过集成多输出层的方式使得整个网络拥有更强的泛化性能。相比于传统的集成学习算法,通过共享隐藏层集成的方式,深度集成网络可以极大的减少训练参数的数量,节约训练周期。并且该方法还可以轻松的扩展为深度共享卷积集成网络以及深度共享循环集成网络等常用的深度学习模型。在元模型不变的情况下,深度共享集成方法可以普遍提高模型1%~3%的泛化性能。
其他文献
目的:分析侧开口推进器联合低温骨水泥注射技术在经皮椎体后凸成形术(PKP)治疗中预防骨水泥渗漏的临床疗效。方法:将2016年1月至2018年2月符合选择标准的80例PKP治疗的老年骨
在大数据日益普及的今天,无标签的数据的获取十分廉价易得,但有标签的数据则不然。人工标注数据是一项费时费力的繁琐工作。如何应用现有的有标签数据集,辅助不同但相关的无标签的目标数据集上的数据挖掘任务是一项十分具有现实意义的挑战。域自适应的目的就在于,利用有标签的源域数据集和无标签的目标域数据集,提升在目标域中特定任务的表现,即使两个域之间并不完全相同。在无监督领域自适应学习中,学习具有领域不变性表征的
目的:归纳《伤寒舌鉴》舌色苔色的应用规律,为临床外感热病的诊断提供帮助。材料与方法:以《伤寒舌鉴》为研究对象,结合《敖氏伤寒金镜录》、《伤寒观舌心法》、张璐父子的舌
上海证券通信有限责任公司宽带单向卫星证券传输系统是为分布于全国的远端地面站授权用户(如券商、基金等)提供实时证券信息传输服务的星型专网系统,系统的稳定运行直接关系
随着移动互联网的快速发展,互联网已经渗入到人们生活工作的方方面面,随之产生了大量的用户行为数据。用户行为数据中蕴含着用户的偏好,而用户偏好预示了用户的个人倾向以及
目的:本文通过从不同角度对二陈汤类方的方证规律进行研究探讨,以期在整理归纳前人应用二陈汤类方经验的基础上,更好地继承与发展其理论与应用,掌握理解其内在的涵义,从而指
目的:探讨一针法胰肠吻合、连续板层胰肠吻合及陈氏胰肠吻合在腹腔镜胰十二指肠切除术(LPD)中的临床应用效果。方法:回顾性分析2017年9月至2019年3月在我院实施LPD的135例患
随着计算机软件系统规模的不断扩大和复杂性的逐渐增加,验证软件系统正确性和可靠性的难度也越来越大,传统的验证技术已经无法满足需求。运行时验证是一种提高软件系统正确性和可靠性的轻量级验证技术,是传统验证技术的有效补充,它通过监控软件系统的实际运行状态来验证软件系统是否正确。然而,在运行时验证中,监控软件系统的运行状态通常会产生一些额外的运行时开销,这会对软件系统的性能造成一定的影响。因此,减少运行时验
[目 的]1)了解我国狂犬病的分布概况,深入分析我国国家监测点狂犬病病例的暴露史、暴露后处置(PEP,Post-exposure Prophylactic)史、潜伏期等特征,探索我国狂犬病病例发病的
脊髓损伤(Spinal cord injury,SCI)是由炎症、感染、外伤等引起的脊髓功能丧失,临床主要表现为运动感觉功能障碍、尿便障碍、神经痛等。脊髓损伤的发生率不高,却具有高致残率