论文部分内容阅读
模块化神经网络是近些年来提出的一种新型连接主义结构模型,它由多个网络组成,试图通过各个网络之间的竞争或协作来提高系统的整体性能。大量的研究表明,模块化神经网络在泛化能力和可靠性上比单一神经网络都有所提高,为我们提供了一条问题求解的新途径。而且最近所提出的一些理论分析与实验也都证实了常见的模块化神经网络方法的有效性。由于认识到模块化神经网络所蕴含的巨大潜力和应用前景,大量研究者涌入该领域,理论和成果不断涌现,使得模块化神经网络成为目前许多领域的一个相当活跃的研究热点,譬如模式识别、控制、决策、机器学习、信息处理等。 模块化神经网络的研究主要集中在两个方面,即如何将多个神经网络的输出结论进行结合以及如何生成系统中的个体网络。本文以建模与回归问题为例就模块化神经网络系统中各个网络的组合方法展开研究,提出了三种组合方法,并以多个实例进行仿真测试,得出了有意义的结论。 全文共分五章。第1章简要地论述了引入模块化神经网络技术的必要性和重要性,并从概念、构建动机、分类、任务分解、设计、学习以及应用等七个方面对模块化神经网络作了简单综述。第2章提出了一种新的模块化神经网络组合法。该方法是一种动态组合法,因为随着输入的不同,组合的网络以及相应的权值都会发生变化。同时它也是一种选择性组合法,因为它不是按传统方法将所有可得到的网络都组合起来,而是根据输入的不同,按照一定准则从所有网络中选出部分网络组合。同时也例证已有的理论分析,部分网络的恰当组合也许会比所有网络的全部组合更能提高系统的泛化性能。第3章提出一种改进的模块化神经网络贝叶斯学习法。第4章基于贝叶斯决策的序贯分析思想提出一种用于模块化神经网络的序贯贝叶斯学习法。实验结果表明,所提出的方法是有效的,在泛化性能上表现良好。最后一章,即第5章,对全文工作作了扼要总结,并就日后需进一步开展的工作进行了展望。