基于DNN训练与转换的深度脉冲神经网络性能优化研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:hanyandai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着神经科学与类脑计算的发展,构建同时具备低功耗、低延迟和高精度特性的类脑认知系统,成为近年来人工智能研究的重大热点和难点问题。构建深度脉冲神经网络(Spiking Neural Network,SNN)是解决上述问题的有效途径之一。由于缺乏对深度SNN进行直接训练的有效算法,研究者提出基于深度神经网络(Deep Neural Network,DNN)训练与转换的深度SNN构建方法,使得构建得到的深度SNN具有与DNN接近的精度,同时具有低功耗、低延迟特性。但由于人工神经元与生物神经元存在巨大差异,转换过程存在近似误差,导致构建得到的深度SNN相对于DNN始终存在精度损失。为此,本文从网络结构、神经元模型与数据编码方式三方面着手,对转换近似误差进行研究,并在此基础上提出一种新的人工神经元激活函数模型和SNN的参数优化方法,进一步缩小近似误差,从而降低精度损失。主要研究内容包括:(1)提出与Leaky Integrate and Fire(LIF)神经元更接近的激活函数Rand Softplus(RSP)。针对现有激活函数与LIF神经元脉冲响应存在较大差异的问题,首先对LIF神经元进行仿真,然后,引入反映神经元随机性的参数η对其输入-输出响应进行建模,提出一种与LIF神经元脉冲响应特性更接近的激活函数RSP,并将其用于DNN网络训练,以缩小由人工神经元与LIF神经元模型差异所导致的精度损失。(2)提出改进的SNN参数优化方法。本文研究了SNN中已有参数优化方法,针对已有阈值优化方法造成部分神经元激活不足的问题,提出一种神经元发放阈值自适应调整优化方法,使得阈值根据输入数据进行动态调整,提高网络信息传递效率;针对补偿因子静态设置所造成额外近似误差问题,引入脉冲计数机制以获取实时脉冲发放率,实现补偿因子动态计算,在解决神经元脉冲发放率随网络层数增加而降低的问题同时缩小了近似误差。仿真实验结果表明,本文所提出激活函数不仅降低了深度SNN的精度损失,同时提升了网络抗噪性;所提出的深度SNN参数优化方法相对于已有方法,在CIFAR-10数据集上展现出更好的性能。
其他文献
水运仪象台是我国宋代发明的一件世界最早的水利天文仪器,是古代蓬勃发展的科技文化的代表。它内部结构精细,在我国古代机械与天文研究中具有极高的地位。目前水运仪象台复原
我国风积砂分布广泛,由于风积砂颗粒具有粘聚力低、稳定性差的特性,隧道施工时常规超前支护施工措施基本很难发挥作用,同时,由于风积砂颗粒具有流动性,掘进过程中稍有不慎,掌子面就会发生坍塌,安全风险非常大。因此,系统地研究风积砂地层隧道变形破坏机理,揭示风积砂地层隧道掌子面失稳模式,提出风积砂地层隧道掌子面荷载计算方法,构建风积砂地层隧道掌子面预加固设计方法体系是非常必要的。为此,本文结合新疆格库铁路某
玉米作为主要的粮食作物,受多种病毒的危害。课题组在大田调查中发现有花叶、斑驳、黄化等多种症状的玉米植株,在实验室检测过程中发现玉米样品中有玉米褪绿斑驳病毒玉米褪绿斑驳病毒(Maize chlorotic mottle virus,MCMV)单独侵染样品,甘蔗花叶病毒(Sugarcane mosaic virus,SCMV)单独侵染样品,及两个病毒复合侵染导致玉米致死性坏死病(Maize letha
我国经济快速发展,对于资源的需求日益增加,煤炭作为不可再生资源,在我国能源中具有重要的地位,但随着大量煤炭资源的开采,老采区沉陷的土地浪费已成为新的问题,为了缓解土地
心脏病严重威胁着人类健康,心电图(Electrocardiogram,ECG)作为最常用的心脏检测方式对于心脏病的检测至关重要。心电图记录的心电信号是一个非线性的时间序列数据,它记录着
木材缺陷识别是木材领域重点的研究方向之一,缺陷的识别提高了木材的加工效率,节省木质资源,在板材加工生产中具有广阔的应用前景。木材节子作为板材中常见的缺陷之一,影响着
随着国家“一带一路”战略的稳步推进,中国西部地区的基础设施建设也在如火如荼的进行,目前我国在西部黄土地区已新建了大量的铁路、公路工程,极大的推动了当地的经济发展。在西部山区修建高铁时,为确保高铁的高顺直性,将不可避免的修建大量桥梁与隧道工程。但在路线进行纵断面设计时隧道的进洞高程一直以来是一个容易被忽略的问题。隧道以多少倍的坡高进洞能够最大程度的抵御隧道洞口段的地震破坏是一个亟待解决的问题。本文以
目的:研究色素上皮衍生因子(pigment epithelium-derived factor,PEDF)抑制对氧化低密度脂蛋白(oxidized low-density lipoprotein,ox-LDL)引起的巨噬细胞炎症。方法:体外培养RAW264.7巨噬细胞,不同浓度的PEDF(100、200、400、800ng/mL)处理细胞24h,用CCK-8法检测细胞毒性;ox-LDL组:建立ox
随着人民物质水平的不断提高与公民意识的不断觉醒,我国公共服务供需关系出现不对称,这对政府创新服务提供方式,提高服务提供效率与质量提出了新要求。目前不论国家层面还是
随着数据中图像信息的增长,对图像和视频的分析、信息提取越来越重要,如何对图像进行精准分析、分类,提高图像识别的准确率是现阶段研究人员的主要研究方向之一。人工智能技