论文部分内容阅读
神经网络一直是模式识别领域中研究的热点。由于神经网络具有非常好的学习能力和泛化性能,以及其统一的结构、易于硬件实现和类似生物神经系统的工作实现机制等优点,神经网络已经广泛用于信号处理、信号分类、手写字符识别和图像分类等领域。 近些年,神经网络的研究可以分为两大方向,分别是:以极速学习机为代表的神经网络快速学习方法研究;以深度学习为代表的神经网络性能提升研究。其中,在实际模式识别任务中,关于神经网络快速学习方法的研究更显得重要。这是因为,在实际模式识别任务中,数据比算法更重要。可以进行快速计算的模型可以利用更多的数据,从而性能超过复杂的模型。 本文针对神经网络的快速计算问题,我们使用非迭代策略计算神经网络的隐含层权值,从而达到快速计算的目的。本文主要研究工作包括: (1)针对传统极速学习机(Extreme Learning Machine,ELM)在回归问题上的病态计算问题,结合支持向量回归,提出鲁棒回归方法,极速支持向量回归模型。该模型在连续回归问题上取得了优越的性能。该方法的隐含层使用极速学习机的随机投影机制。在输出层中,该方法基于(∈)-支持向量回归模型。在目标函数中,对斜率和截距同时求L2范数最小。同时,在约束项中采用等式近似处理。经过推导求解,我们得到了一个解析解。该方法可以鲁棒性地处理连续回归问题,同时具有非常快的计算速度。 (2)针对极速学习机的完全随机隐层节点使用效率不高的问题,提出基于样本分布构建隐层权值的方法,约束极速学习机(Constrained Extreme Learning Machine,CELM)。隐层节点使用效率不高效,使得在实际中,我们必须使用很多隐节点,才能保证模型的性能达到需求。很多的隐节点意味着更多的训练和测试时间,和更易于过拟合。基于样本分布先验产生隐层权值,可以有效地提升模型的性能,同时保持相同的快速学习速度。 (3)针对当前深度学习模型训练非常耗时,提出基于非监督学习的深度跨层学习模型。该模型使用非监督学习模型学习局部感受野特征,将先前层的特征跨接到最后一层,构建完备表示。同时,使用局部对比标准化和白化预处理各层的输入。我们分别使用极速学习机模型、自动编码机模型和主成分分析模型学习非监督局部感受野特征。实验结果证明,这些模型取得比同类模型优越很多的性能,同时具有比传统深度学习更快的学习速度。 综上所述,本文针对神经网络中学习速度慢的问题,基于隐含层非迭代策略,改进深度学习和极速学习机模型。在设计模型时,我们在考虑模型泛化性能的同时,尽可能地使模型具有更快的学习速度。大量实验结果表明,本文提出的方法具有相对较好的性能,同时具有非常快速的学习速度。