多层前馈神经网络全局优化算法研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:liangjingyu1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多层前馈神经网是应用最为广泛的神经网络模型之一,它对任意连续函数的逼近能力为它在非线性系统建模和控制中的应用提供了坚实的理论基础。针对前馈神经网络提出的BP算法使其在函数逼近、模式识别等领域都有大量的应用。但由于BP算法是由梯度下降方法来最小化网络误差函数推导出来的,所以在网络训练时易陷入局部极小点。而且,为了解决BP算法易陷入局部极小点问题而引入的随机型全局算法受到本身特性的制约,经常不能满足对训练要求。为此,一些确定型全局算法被应用到神经网络领域。本文对两类确定型全局优化算法(填充函数算法和区间算法)作了比较深入的研究,并在此基础上作了进一步的推广和证明。然后将两类全局算法分别与神经网络相结合,得到前馈神经网络全局算法,并讨论算法各自适用的网络结构规模。仿真实验证明了两种全局算法可以在神经网络训练当中取得令人满意的效果。主要内容如下: (1)在已有的填充函数模型的基础上,提出了一种改进的单参数填充函数模型,并给予理论证明。对于重要参数给予理论分析,并在实践中得到验证。 (2)针对多层前馈神经网络的特点,将填充函数算法与BP算法相结合,提出基于单参数填充函数的全局优化神经网络算法,并进行了有效性分析。这种混合策略可以在保持最速下降法寻优速度的前提下,得到全局最优解。 (3)对于区间算法当中的关键区间处理步骤,提出了针对神经网络的误差函数的新的区间扩张函数模型,并给予理论证明。随后,为了增加目标函数的梯度的使用效率,提出了合理的区间删除法则组合。该区间扩张模型与区间删除法则可以有效地提高区间算法的收敛速度。 (4)针对多层前馈神经网络,提出基于区间算法的全局优化神经网络算法。在保持区间算法的全局收敛性的基础上,有效地提高了算法收敛速度。
其他文献
随着微电子技术的发展,嵌入式系统在家庭和工业的各个领域得到了广泛的应用,其数量已经远远超过了各种通用计算机。另一方面Internet己成为现代社会最为重要的基础信息设施之
本文主要讨论了CPLD在三相异步电动机软起动控制方面的应用。新型异步电动机软起动控制器大多采用晶闸管交流调压电路,它具备结构简单、使用可靠、投资少、易维护等优点,在大功率异步电动机上的应用上越来越广。但是现有的系统大多存在一些不足,如控制装置体积较大、控制精度不高、智能化程度低等。本文在讨论了纯CPLD控制、纯MCU控制及CPLD+MCU控制各自优缺点的基础上,确定了CPLD+MCU控制的方案。其
随着电子计算机科学、图像图形学、模式识别技术以及大规模集成电路的飞速发展,视频监控系统的应用越来越广泛。作为核心部分,视频采集技术也日趋成熟,可用于视频采集卡设计的集
我国燃煤发电在电力供给中占80%以上,以煤为主的能源消耗结构导致了S02大量排放,对我国生态环境产生了严重的影响。节约资源,减少污染物排放是我国急需解决的重要问题之一。为研
虚拟企业利益风险问题是国内外理论界和企业界非常关注的一个热点问题,也是企业未来发展所面临的非常现实的问题。越来越多的企业意识到单凭自身内部资源的整合,己经难以把握快
Internet经济上的重要性、网络技术复杂性的逐渐增加和单个元件传输越来越大量的数据都要求网络有生存性机制来抵抗如光纤切断和节点失效等故障的发生带来的后果。近年来,网
动态变规格作为全连续冷连轧所特有的工艺过程,是实现带钢无头轧制的技术关键。研究冷连轧机的动态变规格变换技术,对于维持轧机的正常生产,实现全连续轧制,提高产品产量、质量都
滞后环节普遍存在于工业生产过程中,对控制系统的性能产生极为不利的影响,甚至引起闭环系统的不稳定或根本无法对系统进行有效的控制。因此,滞后系统的建模与控制方法一直是控制
随着近年来国内外信贷消费的蓬勃发展,信用风险管理越来越受到金融行业的重视并逐渐成为客户关系管理中的核心问题。其中,信用评分方法成为信用风险预测的主要方法,它使得信贷决
星敏感器是天文导航系统的主要设备,是一种高精度、高可靠性的姿态测量部件。随着天文导航技术不断进步,星敏感器的硬件和软件技术得到了迅速的发展,尤其基于CMOS的星敏感器