基于非迭代策略的快速神经网络方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:jiaofangjunonline
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络一直是模式识别领域中研究的热点。由于神经网络具有非常好的学习能力和泛化性能,以及其统一的结构、易于硬件实现和类似生物神经系统的工作实现机制等优点,神经网络已经广泛用于信号处理、信号分类、手写字符识别和图像分类等领域。  近些年,神经网络的研究可以分为两大方向,分别是:以极速学习机为代表的神经网络快速学习方法研究;以深度学习为代表的神经网络性能提升研究。其中,在实际模式识别任务中,关于神经网络快速学习方法的研究更显得重要。这是因为,在实际模式识别任务中,数据比算法更重要。可以进行快速计算的模型可以利用更多的数据,从而性能超过复杂的模型。  本文针对神经网络的快速计算问题,我们使用非迭代策略计算神经网络的隐含层权值,从而达到快速计算的目的。本文主要研究工作包括:  (1)针对传统极速学习机(Extreme Learning Machine,ELM)在回归问题上的病态计算问题,结合支持向量回归,提出鲁棒回归方法,极速支持向量回归模型。该模型在连续回归问题上取得了优越的性能。该方法的隐含层使用极速学习机的随机投影机制。在输出层中,该方法基于(∈)-支持向量回归模型。在目标函数中,对斜率和截距同时求L2范数最小。同时,在约束项中采用等式近似处理。经过推导求解,我们得到了一个解析解。该方法可以鲁棒性地处理连续回归问题,同时具有非常快的计算速度。  (2)针对极速学习机的完全随机隐层节点使用效率不高的问题,提出基于样本分布构建隐层权值的方法,约束极速学习机(Constrained Extreme Learning Machine,CELM)。隐层节点使用效率不高效,使得在实际中,我们必须使用很多隐节点,才能保证模型的性能达到需求。很多的隐节点意味着更多的训练和测试时间,和更易于过拟合。基于样本分布先验产生隐层权值,可以有效地提升模型的性能,同时保持相同的快速学习速度。  (3)针对当前深度学习模型训练非常耗时,提出基于非监督学习的深度跨层学习模型。该模型使用非监督学习模型学习局部感受野特征,将先前层的特征跨接到最后一层,构建完备表示。同时,使用局部对比标准化和白化预处理各层的输入。我们分别使用极速学习机模型、自动编码机模型和主成分分析模型学习非监督局部感受野特征。实验结果证明,这些模型取得比同类模型优越很多的性能,同时具有比传统深度学习更快的学习速度。  综上所述,本文针对神经网络中学习速度慢的问题,基于隐含层非迭代策略,改进深度学习和极速学习机模型。在设计模型时,我们在考虑模型泛化性能的同时,尽可能地使模型具有更快的学习速度。大量实验结果表明,本文提出的方法具有相对较好的性能,同时具有非常快速的学习速度。
其他文献
本文先后讨论了数据质量的产生原因及其影响要素、数据质量问题的分类、数据质量分析方法以及数据质量分析系统的概要模型。主要工作和创新点如下: 1.将数据质量分析方法归
本文的主要研究工作和成果如下: (1)介绍了ETL的国内外研究现状;对ETL相关理论技术进行了阐述和分析。重点探讨了其中的数据转换、数据质量问题、数据清洗等相关理论技术,还
表单是企业信息的主要载体和表现形式,工作人员利用表单进行日常工作,管理企业的各项业务。电子表单模拟了企业的这种日常办公方式,可以帮助企业提高工作效率,是计算机最主要的应
学位
机器视觉技术在工业在线检测中的应用是近年来的研究热点之一。机器视觉技术可以大幅降低人工检测成本,提高产品质量和生产效率,因而在工业检测和控制领域得到了广泛的应用。但
随着计算机应用的广泛普及以及互联网技术的飞速发展,人们可共享和利用的信息资源越来越丰富,目前面临的关键问题是如何帮助用户从这些丰富的信息资源中获取所需要的有用信息。
在当今这个信息化社会中,在网络应用的深入发展和技术进步的同时,非法访问、恶意攻击、病毒传播等网络安全威胁也越来越严重。为了保护网络系统安全,防火墙、IDS、防病毒、身份
随着移动通信技术的飞速发展,硬件技术的不断更新换代和各种移动服务的出现,手机、PDA等嵌入式手持移动设备的功能越来越丰富.与此同时,嵌入式应用软件的开发模式较过去也有
随着互联网的飞速发展,网络多媒体应用得以推广和普及。但是,传统多媒体需要下载完成后才能播放的特点与现今网络带宽资源有限的情况发生矛盾,于是产生了可以一边下载一边观
提高摄像机标定精度,一直都是机器视觉在实际应用中最为关心的问题。高精度工业测量和新兴的3D打印技术等,对不可接触物体的精确建模提出了更高的要求,而摄像机标定的结果直接影
近年来,基于人体生物特征的身份识别技术越来越受到国内外学术界、企业界、政府以及国防军事部门的高度重视,并且产生了巨大的社会与经济效应。人体生物特征识别技术是指利用人