论文部分内容阅读
人脑作为一个高效的神经网络,一直是人工神经网络模拟的目标。但由于网络规模和突触元件的制约,人工神经网络的功能受到了极大的限制。忆阻器的出现,为人工神经网络从电路上模拟人脑提供了可能。首先,忆阻器的纳米级尺寸、低耗能使得忆阻器可以实现人脑的高密度分布;其次,忆阻器的记忆性使得忆阻器可以实现突触的可塑性;第三,忆阻器新发现的各种遗忘特性、STDP(Spike time dependent plasticity)特性使得神经网络可以具有更多与人脑相似的功能。忆阻器是一个天然的突触,而基于忆阻器创建的神经网络,也即忆阻神经网络,将使人工智能达到一个全新的高度。本文重点研究忆阻器数学模型的建立和分析、忆阻神经网络的构建和应用,具体内容分为以下四个方面: ①忆阻器可逆模型的设计与分析 忆阻器作为新兴元件,其特性和内部机制自发现以来一直处于实验室研究阶段。随着不同材料忆阻器的发现,各种不同的忆阻器转换机制和数学模型也相继提出,但这些提出的忆阻器转换机制和数学模型只对应特定类型的忆阻器,不能同时描述不同类型的忆阻器。我们通过对各种不同忆阻器物理机制和数学模型的分析,首次建立一个理论上的可逆模型,同时对各种不同类型的忆阻器,比如单极忆阻器,双极忆阻器,具有遗忘效应的双极忆阻器,单双极可逆的忆阻器等,进行模拟和仿真。这个可逆模型可以使研究人员脱离特定忆阻器模型的束缚,更好的对忆阻神经网络加以研究。 ②具有STDP特性的忆阻器模型及应用 STDP特性是在生物神经系统中新发现的学习规则,即权重的增加或者降低只与激活时间相关,与神经元的兴奋强度无关,通常被认为是HEBB学习规则的补充。科研人员通过对实物忆阻器的顶电极和底电极施加电压,发现忆阻器的阻值变化也具有STDP特性。不过忆阻器所表现出的STDP特性是由电信号作用后生成的突触后电流导致还是由忆阻器自身阻值非线性变化特性导致并不能确定。本文通过一个简易模型证明忆阻器自身的阻值变化便具有 STDP特性,同时考虑到突触后电流的存在,通过外加信号便可实现对 STDP学习规则的控制,比如控制对称忆阻器(阻值增加和降低对称变化的忆阻器),和非对称忆阻器(阻值增加和降低非对称变化的忆阻器,一般是负向电流受抑制,也即是整流效应)的STDP曲线。具有STDP特性的忆阻器构建的神经网络,可实现序列学习和预测。 ③具有学习和纠错能力的忆阻神经网络 传统的联想神经网络一般只研究网络的学习能力,比如著名的巴甫洛夫联想记忆实验,狗通过学习训练建立起铃声和食物之间的联想记忆。但这个实验有个漏洞,即忽略了网络的纠错能力,比如,当铃声和食物之间的联想记忆成为错误反应时,网络该如何对错误的联想进行自动纠正的能力。本文以惠普实验室提出的荷控忆阻器模型作为突触,采用多阈值神经元构建神经网络,并利用最大输入反馈(MIF)学习规则,重新实现同时具有学习和纠错能力的巴甫洛夫实验,表明忆阻器可以作为突触对传统神经网络进行改进和革新。 ④具有图片存储和学习能力的忆阻神经网络 忆阻器作为纳米级的存储设备,自身便可以实现对图片的存储,而且由于其阻值的连续性,忆阻器不仅可以直接存储二值图片,还可以实现任意灰度级数的图片存储。而相应的,以忆阻器构建的神经网络,不仅可以直接存储和学习二值图片,还可以存储和学习灰度图。本文构建多层忆阻神经网络,以CMOS电路单元作为神经元,以忆阻交叉架构作为突触矩阵,引入图片叠加去噪技术,对二值图片和灰度图片进行存储、学习、特征提取和识别。由于忆阻器的特性因材料而不同,我们以惠普迁移模型和阈值模型来表示不同的忆阻器,设计相应的电路架构和仿真,进行实验对比,最后发现具有阈值特性的忆阻器更适合电路实现,而具有非线性迁移边界的忆阻器具有更快的收敛速率和容噪能力。