论文部分内容阅读
随着人工神经网络的快速发展,受生物启发的脉冲神经网络近些年来受到越来越多的关注。由更具生物真实性的脉冲神经元模型为基本单元构成的脉冲神经网络,应用脉冲序列表示与处理信息,这种编码方式整合了信息的多个方面,如时间、频率和相位等。生物大脑具有多层次的网络结构,这种结构可以对信号的特征进行逐层变换和抽象,根据这种思想,研究者提出了具有深层结构的神经网络及其深度学习方法。结合脉冲神经网络的信息处理方式与深度神经网络的计算模式,构造具有广泛适用性的脉冲神经网络的深度学习方法,将是机器学习研究中极富挑战性的任务。由于脉冲神经元内部状态不可微的性质使得在传统神经网络上应用很成功的基于微分的优化方法不再适用于脉冲神经网络,因此,尽管脉冲神经网络在理论上被认为比传统神经网络具有更高的计算能力,但如何有效训练深度脉冲神经网络仍是一个难题。一些脉冲神经网络使用反向传播实现了深度学习,但显而易见的是它们仍然无法避免反向传播算法在生物上不合理的权值运输问题;更多的深度脉冲神经网络是从传统神经网络转换而来,但在转换过程中难免会出现精度下降、神经元欠激活或者过激活、负值无法表示和增加网络复杂度等一系列问题。针对上述深度脉冲神经网络中存在的不足,本文研究了两种深度脉冲神经网络监督学习算法。首先,根据脉冲序列内积的定义与性质,提出了基于脉冲序列内积的深度脉冲神经网络监督学习算法及其简化算法。使用脉冲序列内积构造误差函数和突触权值学习规则,鉴于该算法的计算复杂性,对其学习规则做了进一步简化。对两种算法进行了一系列脉冲序列学习实验,通过分析脉冲序列的学习过程验证所提算法的有效性,并使用不同学习率、脉冲发放频率和脉冲序列长度来分析网络参数对算法性能的影响。实验结果表明所研究的算法有效,能十分有效地处理复杂的时空模式学习问题。其次,根据脉冲序列误差的反向传播机制,提出了基于反馈对齐机制的深度脉冲神经网络监督学习算法及其简化算法。使用反馈对齐机制,在脉冲序列内积基础上来构造基于反馈对齐机制的深度脉冲神经网络监督学习算法的学习规则,并根据反馈对齐机制的变种—广播对齐机制来构造其简化学习算法。通过演示所提算法的脉冲序列学习过程来验证算法有效性,并使用不同的随机固定矩阵取值上限、脉冲发放频率和学习周期上限来分析算法性能。实验结果表明所研究的算法及其简化算法有效且能很好地进行复杂时空模式学习。最后,将研究的两种算法及其各自的简化算法应用到非线性模式分类问题。在实验中,选用UCI标准数据集中属性较多的Wisconsin乳腺癌诊断数据和Audit数据集来评估所研究算法的性能。实验结果表明所研究的两种深度脉冲神经网络学习算法及其各自的简化算法可以有效地解决模式分类问题,具有一定的实用价值。