深度学习批归一化及其相关算法研究进展

来源 :自动化学报 | 被引量 : 0次 | 上传用户:hblhzl_18
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习已经广泛应用到各个领域,如计算机视觉和自然语言处理等,并都取得了明显优于早期机器学习算法的效果.在信息技术飞速发展的今天,训练数据逐渐趋于大数据集,深度神经网络不断趋于大型化,导致训练越来越困难,速度和精度都有待提升.2013年,Ioffe等指出训练深度神经网络过程中存在一个严重问题:中间协变量迁移(Internal covariate shift),使网络训练过程对参数初值敏感、收敛速度变慢,并提出了批归一化(Batch normalization,BN)方法,以减少中间协变量迁移问题,加快神经
其他文献
【正】Salt stratified Lake Shira has been the subject of an extensive body of research because of its central role in existence of the resort area of Khakassia.
车辆在冰雪路面、潮湿路面或雨水路面行驶时,容易产生侧滑,极易造成交通事故。 车辆产生侧滑有以下几方面原因:运行中急收油、突然使用紧急制动会导致行驶中的惯性力瞬间增大
工笔花鸟画在中国绘画中有悠久的历史并且独立成科,宋代是中国工笔花鸟画发展的鼎盛时期。《出水芙蓉图》是宋代工笔花乌画中具有代表性的作品,作品独特的构图、用线、设色,
今年的政府工作报告明确提到,要加强乡镇寄宿制学校和县城学校建设。加强乡镇寄宿制学校建设,让适龄孩子都上寄宿制学校,不等于不重视村小、小学教学点。而是要结合当地的实
著名教育家阮庚梅曾说过:“多蹲下来听孩子说话,你看到的将是一个纯真无邪的世界。”作为一名基层幼儿教师,我在日常教育中发现,孩子们经常会有许多天马行空的想法,正是这些
故障树是故障诊断专家系统问题求解策略的一种重要方法,为了减小知识表示和获取的难度,可将基于故障树的专家系统应用到雷达电源故障诊断中,通过构建和实现某雷达通用电源故
银屑病发病率在我国呈逐年上升的趋势,由于其病程长、病情反复发作、迁延难愈,给患者的日常生活及工作带来了严重的影响,是较严重的社会公共卫生问题,亟需进行慢病管理。中医
目的分析针刺加灸贴治疗神经根型颈椎病的效果。方法选取64例神经根型颈椎病患者,随机分为常规组和干预组,每组32例。常规组应用电针治疗,干预组应用针刺联合膏肓穴灸贴治疗,
当前,我国大力提倡素质教育,在小学语文教学中引入心理健康教育,一方面可以培养小学生健康的品格,另一方面能够促进小学生全面发展,一举两得.为此,在小学语文教学中,应合理开
本文首先指出了控制领域中普遍使用的增广一阶系统方法的弊端,介绍了高阶全驱系统的概念及其在控制器设计方面的优势,并通过一些基础物理定律、串联系统、严反馈系统和可反馈