基于反馈对齐的深度脉冲神经网络监督学习算法研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:zhoubin_
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工神经网络的快速发展,受生物启发的脉冲神经网络近些年来受到越来越多的关注。由更具生物真实性的脉冲神经元模型为基本单元构成的脉冲神经网络,应用脉冲序列表示与处理信息,这种编码方式整合了信息的多个方面,如时间、频率和相位等。生物大脑具有多层次的网络结构,这种结构可以对信号的特征进行逐层变换和抽象,根据这种思想,研究者提出了具有深层结构的神经网络及其深度学习方法。结合脉冲神经网络的信息处理方式与深度神经网络的计算模式,构造具有广泛适用性的脉冲神经网络的深度学习方法,将是机器学习研究中极富挑战性的任务。由于脉冲神经元内部状态不可微的性质使得在传统神经网络上应用很成功的基于微分的优化方法不再适用于脉冲神经网络,因此,尽管脉冲神经网络在理论上被认为比传统神经网络具有更高的计算能力,但如何有效训练深度脉冲神经网络仍是一个难题。一些脉冲神经网络使用反向传播实现了深度学习,但显而易见的是它们仍然无法避免反向传播算法在生物上不合理的权值运输问题;更多的深度脉冲神经网络是从传统神经网络转换而来,但在转换过程中难免会出现精度下降、神经元欠激活或者过激活、负值无法表示和增加网络复杂度等一系列问题。针对上述深度脉冲神经网络中存在的不足,本文研究了两种深度脉冲神经网络监督学习算法。首先,根据脉冲序列内积的定义与性质,提出了基于脉冲序列内积的深度脉冲神经网络监督学习算法及其简化算法。使用脉冲序列内积构造误差函数和突触权值学习规则,鉴于该算法的计算复杂性,对其学习规则做了进一步简化。对两种算法进行了一系列脉冲序列学习实验,通过分析脉冲序列的学习过程验证所提算法的有效性,并使用不同学习率、脉冲发放频率和脉冲序列长度来分析网络参数对算法性能的影响。实验结果表明所研究的算法有效,能十分有效地处理复杂的时空模式学习问题。其次,根据脉冲序列误差的反向传播机制,提出了基于反馈对齐机制的深度脉冲神经网络监督学习算法及其简化算法。使用反馈对齐机制,在脉冲序列内积基础上来构造基于反馈对齐机制的深度脉冲神经网络监督学习算法的学习规则,并根据反馈对齐机制的变种—广播对齐机制来构造其简化学习算法。通过演示所提算法的脉冲序列学习过程来验证算法有效性,并使用不同的随机固定矩阵取值上限、脉冲发放频率和学习周期上限来分析算法性能。实验结果表明所研究的算法及其简化算法有效且能很好地进行复杂时空模式学习。最后,将研究的两种算法及其各自的简化算法应用到非线性模式分类问题。在实验中,选用UCI标准数据集中属性较多的Wisconsin乳腺癌诊断数据和Audit数据集来评估所研究算法的性能。实验结果表明所研究的两种深度脉冲神经网络学习算法及其各自的简化算法可以有效地解决模式分类问题,具有一定的实用价值。
其他文献
随着全球水资源缺乏及土壤与淡水盐渍化加剧,干旱、高盐等非生物逆境已经成为影响作物生长发育的主要因素,严重影响了作物的产量。因此利用转基因技术提高作物的逆境性是主要
氧电极反应包括氧还原反应(oxygen reduction reaction,ORR)和析氧反应(oxygen evolution reaction,OER)是不同能量转换和存储体系的重要反应,其反应过程复杂、能垒较高,通常需要
水声数据可视化是人类探索海洋世界的重要手段,在海洋资源探测、海底地貌勘察以及渔业领域等方面具有广泛的应用。随着GPU等并行处理技术的发展,绘制质量较高的直接体绘制技
分子泵抽速性能对于分子泵基础理论的研究和发展、性能改进以及配套的真空系统设计方法完善都极为重要,快速、准确、有效地对分子泵抽速性能指标进行测试已经成为真空泵行业
生物医学事件抽取技术,能够帮助研究人员快速地从大量生物医学文献中准确定位事件,并以结构化的形式表示,在药物研制、临床辅助诊疗、构建生物医学本体库等方面具有重要的研
蛋白质是组成人体一切细胞、组织的重要成分,研究表明很多疾病的发生都与蛋白质的二级结构异变有关。本文主要将表面等离子体共振技术与红外光谱技术相互结合,通过时域有限差
嵌段聚合物自组装是制备聚合物纳米材料的重要途径,嵌段聚合物发生微观相分离得到丰富的形态,自组装制备的纳米材料广泛的应用在微反应器、催化剂载体、药物控制释放等领域。
大数据时代的到来,加速了各行各业的快速发展,而随之也产生了大量的与学术研究相关的数据,由此,学术大数据应运而生。学者们在学术大数据的基础之上进行了大量的研究,但是却
太赫兹无源成像(Terahertz/THz Passive Imaging)利用太赫兹频段的高穿透性,并收集目标本身辐射的太赫兹波进行成像,能够实现对隐匿物体的成像,并根据成像结果判定隐匿目标的
航天遥感在国民经济建设、国防现代化建设和人类社会可持续发展中的作用越来越重要,以应用为导向、天地一体化的理念在遥感卫星系统的设计和制造中得到越来越充分的体现。遥