论文部分内容阅读
传统神经网络具有结构复杂、学习性能差及速度慢等缺点。支持向量机具有很好的泛化能力,但难以解决多分类问题。张铃教授等在对神经元几何意义分析的基础上提出基于覆盖的构造性机器学习方法,将多分类神经网络的构建转化为在样本集上求出一组覆盖领域,这组领域能将不同类的点分隔开。该算法的网络结构易于确定且能高效地处理多分类问题。理论研究表明覆盖网络的性能与覆盖的个数密切相关,构造覆盖领域时我们所选择的覆盖中心点的选择对领域的个数有直接影响。同时覆盖算法是一个监督学习,需要大量的有标记数据。获取大量无标记数据比较简单,而获取大量有标记数据非常困难。如果我们能把这些没有标记的数据也用到我们的机器学习中去,就相当于我们又增加了信息量,于是分类精度将得以提高。
本文在分析覆盖构造性学习方法的基础上,引入领域搜索算法和半监督算法对覆盖算法进行了优化,并且提出了基于领域搜索的覆盖算法和半监督覆盖算法。主要工作如下:
(1)概述了机器学习和人工神经网络基本理论和算法,详细介绍了覆盖算法的模型及其扩展模型,分析了现有覆盖算法的优势与存在的问题。
(2)领域搜索算法是一种简单有效的局部搜索优化算法,其基本准则是在邻近解中迭代,使目标函数逐步优化,直至不能再优为止。本文将领域搜索算法与覆盖的构造性学习算法相结合,提出基于领域搜索的覆盖算法。该方法对覆盖网络进行优化,使得每个覆盖包含更多的同类点,覆盖的个数也就减少,从而减少运行时间。实验表明该算法可以使覆盖个数得到明显减少。
(3)半监督学习是近年来机器学习领域的一个研究热点,它是一种基于标记样本和未标记样本学习的机器学习算法,整个学习过程不需人工干预,仅基于学习器自身对未标记示例进行利用。半监督学习的核心思想就是对未标记样本进行标记,增加学习样本的数量从而提高机器学习的精度。半监督学习的优越性则体现在能同时利用有标签样本和无标签样本学习。本文将半监督方法与覆盖算法结合起来,提出了基于半监督的覆盖算法,从而克服了覆盖构造性学习作为有监督学习的不足。实验表明这一方法能够有效提高覆盖构造性学习的识别精度,增加了此学习器的泛化能力。