极限学习机的改进与扩展研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:xiaoliang668
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在各种神经网络中,单隐层前向网络(SLFNs)由于其简单的结构和逼近能力而在理论和应用领域都被广泛地研究。但是,传统的单隐层前向网络学习算法,比如基于梯度的方法,可能面临如收敛缓慢和局部最小值等一些挑战。不同于传统神经网络理论,一种叫做极限学习机(ELM)的学习模式被提出。相对于传统方法,极限学习机能具有更快的学习速度和更好的泛化效果,并能克服一些传统方法遇到的困难。近来,极限学习机受到越来越多的关注,为了解决不同问题,如在线学习、学习排序、半监督和无监督学习等,人们提出了很多不同形式的极限学习机算法;同时,极限学习机也被直接使用在很多应用领域,比如生物医学、计算机视觉、系统建模和预测等。本文的研究主要分为两部分。在第一部分,我们主要研究极限学习机的增量构建方法,提出了一种新的增量极限学习机:可变长增量极限学习机(LCI-ELM)。LCI-ELM允许一次增加多个隐层结点,已存在的网络结构作为一个整体更新输出权值,新增加结点的输出权值计算采用部分误差最小方式。我们证明了用LCI-ELM构建的网络在紧致输入集上具有全局逼近能力,并且也能实现对有限的训练数据的插值逼近。然后,在多个数据集上对LCI-ELM和I-ELM、CI-ELM及EI-ELM进行了实验对比,实验结果说明了LCI-ELM具有更快的收敛速度。在第二部分,我们研究使用极限学习机解决概念漂移问题,提出了带有遗忘系数的极限学习机(FP-ELM)。在训练过程中,FP-ELM对数据进行逐个或逐块地学习;每当有新数据到达,FP-ELM就依据学习器的当前表现为之前的训练数据分配一个遗忘系数,以适应可能发生的变化。我们在几类具有概念漂移的分类和回归问题上将FP-ELM的效果同两种常用的集成方法的效果进行了对比。对比结果表明,FP-ELM能够在更短的训练时间里达到与集成方法相近或更好的效果。
其他文献
大数据是最近一年来非常火热的概念,随着人类产生和收集的数据量的爆炸式增长,对数据的存储和分析能力有了更高的要求。建设基于数据仓库的,特别是Hadoop的Web查询平台,是提高企
近年来,人工神经网络在故障诊断中的成功应用,为变压器故障诊断技术的发展开拓了新的途径。目前,这方面的研究成果主要集中在网络的训练算法改进,以及针对变压器特点的网络输入数
聚类是数据挖掘中一种重要的技术。它从数据库中寻找数据间的相似性,并依此对数据进行分类,使得不同类中的数据尽可能相异,而同一类中的数据尽可能相似,从而优化大规模数据库的查
人脸识别作为一个研究热点课题,经过三十多年的研究,取得了丰富的研究成果。多视角的人脸识别,由于从采集、检测到识别均有比较高的复杂度,成为该领域的一个研究难点。 本文针
随着计算机技术、网络通信技术、地球空间技术的发展,传统的GIS向着信息共享的WebGIS发展,WebGIS正成为大众化的信息工具,越来越多的Web站点提供空间数据服务。但我们不得不面对
目前,Internet服务程序面临着承受高并发负载的要求.在高并发负载下,一个非良构的Internet服务程序会出现性能的急剧下降,而编写一个良构的Internet服务程序又费时费力,需要
近年来随着多媒体技术,语音技术,信息处理技术的飞速发展,许多应用领域都需要快速、高效的压缩算法.传统的压缩算法能够将文本压缩到原来的一半,但这也是机械的传统压缩算法
近年来,随着多媒体技术和计算机网络技术的发展,全世界范围内的数字视频信息以惊人的速度在增长,对这些海量的而且包含大量非结构化信息的数据如何组织、表达、管理、查询和检索
随着计算机网络的不断发展,移动计算和无线通信已成为通信网络不可分割的一部分,而为移动计算设备提供灵活无间断网络连接手段的无线移动多跳Ad hoc网络正越来越受到关注.该
双目立体视觉的距离测量在三维重构、非接触式精确定量测量和危险场景感知等领域有着广阔的应用前景。一般的双目立体测距系统主要包括四个部分:立体标定,图像校正,立体匹配,立体