论文部分内容阅读
与传统的神经网络相比,极端学习机(Extreme Learing Machine,ELM)在速度和计算方面表现出优异的性能。它最大的特点是将复杂的非线性求解过程转化为利用广义逆求解线性方程组的过程。这不仅大大提高了网络的训练速度,同时,还使得其具有唯一最优解,避免了陷入局部最优解的问题。然而,ELM也存在着一些缺点,例如,ELM需要更多的隐藏层神经元以及有时为了提高训练速度而牺牲了数据中有意义的特征。所以,针对于ELM在实际生活中的回归和分类数据集上出现的问题,对其进行了一些改进,具体研究成果如下:首先,针对传统神经网络对抑制神经元作用的忽视,提出了一种基于兴奋和抑制神经元的多并联极端学习机(Multi-parallel Extreme Learning Machine with Excitatory and Inhibitory Neurons,MEI-ELM)的网络模型。MEI-ELM结合多并联系统的优势和生物神经元传递信息的特点,在网络中引入并联输入结构和具有兴奋和抑制作用的神经元。将MEI-ELM与其它3种网络在9种经典基准回归问题上进行对比,检验网络的有效性。结果显示MEI-ELM的预测精度较其它网络有明显提高。其次,为了充分利用网络所产生的误差中含有的有效信息,考虑误差补偿的思想,提出改进的MEI-ELM算法——基于误差补偿的多并联极端学习机(Multi-parallel Extreme Learning Machine based on Error Compensation,MEC-ELM)。同样通过9个回归问题验证了MEC-ELM在大部分数据集中比其他算法表现出更好的泛化能力。另外,为了验证改进的MEC-ELM在分类问题中的有效性,还将其应用于6种经典分类问题上,较其它5种网络其分类精度平均提高了3.5%,具有较高的分类精度。最后,针对数据的在线训练问题,基于MEC-ELM模型,提出在线顺序多并联极端学习机(Online Sequential Multi-parallel Extreme Learning Machine based on Error Compensation,OMEC-ELM)。同样的,将此算法在上述9个回归问题和6个分类问题上进行分析,其实验结果表明,在线算法OMEC-ELM不仅解决了数据的在线训练问题,其预测和分类的精度也有所提高。