非线性函数的通用线性近似算法和硬件实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:nsitbay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
非线性函数作为一类特殊的变换函数,广泛应用在神经网络算法中,主要作用是给神经网络模型加入非线性因素以及解决线性模型所不能解决的问题,例如sigmoid,tanh,softmax等都是神经网络中常见的非线性函数。此外,非线性函数还普遍应用在数字信号处理以及通信算法中,比如通信算法中常用的对数以及反双曲正切函数。但是由于非线性函数非线性的性质,在非线性函数的电路实现过程中遇到了很多挑战。已有的一些算法不能够事先控制近似精度,或者不能够精确同时高效地近似目标非线性函数。还有一些算法具有局限性,只能够近似某些特殊的函数,不具有通用性。因此,为了改进以上缺陷,本文设计出了一种通用的同时误差可控的分段线性近似方法。本文提出的分段线性近似方法,以常用的查找表和分段线性近似方法作为基础。针对已有算法不能够自主控制近似精度的问题,本文的算法具有自适应性,以最大绝对值作为近似精度,来控制线性分段,即具有自主控制近似精度的能力;针对已有算法不能精确同时高效地近似目标非线性函数的问题,本文改进了传统的分段线性方法的硬件架构,采用并行的段号比较机制来减少计算周期,采用符号位作为比较结果来减少段号生成器的电路面积,而且本文的硬件架构实际的计算周期是一个时钟周期,计算延迟小;针对已有算法只对特定非线性函数进行近似,依赖目标函数的特殊性质的缺点,本文算法不利用目标函数的任何性质,算法具有通用性,近似其他非线性函数时不需要进行二次开发。本文提出的分段近似方法以sigmoid、tanh、对数和反双曲正切函数为实验对象在65nm CMOS工艺库下实现。和参考文献中的结果对比,本文算法的实验结果将四个非线性函数的近似精度分别提高了4.5,2.1,1.3和4.6倍;将电路面积分别减少了49.9%,22.45%,28.5%和50%。在实际的LSTM网络实现过程中,在采用相同的模型时,采用本文的非线性函数分段方式可以将整个模型的识别率提高17%。
其他文献
招商引资,作为地方政府加快经济发展的重要手段,不仅能促进当地经济发展、优化区域产业结构,还可以促进人员就业,以此来增加地方的财政收入。尤其对经济欠发达的县级市而言,招商引资更是推动当地经济发展的强大动力源。因此,各级地方政府都把招商引资工作视为促进经济发展的第一要务来抓。由于多种因素的影响,很多地方的招商引资并没有达到预期的效果。磐石市作为一个县级市,招商引资工作多年来取得了一定成绩,但随着我国进
如今线上与线下渠道并存的销售模式被企业广泛采用,这对提高企业分销效率与顾客满意度有重要意义。但市场需求不确定与各种意外因素的存在,如何解决由供需不平衡引发的库存风
在新常态下,中国经济结构正在产生着巨大变化。通过供给侧结构性改革,推进产业升级和消费者需求转型,整体经济增速逐渐回落。现有的生产能力过剩、不足的投资和消费需求、成
半监督学习是机器学习领域中的一个重要研究方向,高维半监督学习算法的研究是半监督学习中的一个重要研究课题。随着信息技术的快速发展,在机器学习、模式识别、数据挖掘和计
语音情感识别技术是人工智能的重要学科分支,通常被认为是实现人机智能交互的重要方式之一,在智能对话系统、舆情监测、服务机器人等领域有着广泛的应用。近年来,随着深度学
航空航天制造业作为战略性发展行业,其生产技术逐渐由手工制造转向自动化、智能化。飞机作为典型航空产品,具有体积大、加工难度大、加工精度要求高等特点,手工制孔极大地制
印度建筑师巴克里希纳·多西(Balkrishna Vithaldas Doshi,1927-)一方面受到以柯布西耶与路易·康为代表的西方建筑思想影响,一方面植根于印度本土,对印度文化、社会、气候进行深入研究,他持续致力于两者结合的探索,并发展出印度本土的现代建筑。传统与现代交融的理念是多西文教建筑创作的核心,人文关怀与社会生活的关注则是低造价住房创作的核心,针对这两种建筑类型结合的研究可更为全面的
目前分布式拒绝服务(Distributed Denial of Service——DDoS)攻击对网络的可用性构成了严重的威胁。在已有的DDoS攻击检测方法中,基于统计学的方法时间复杂度较高;基于熵的
近年来我国高速的经济发展逐渐转为中高速发展,经济发展进入经济新常态,而经济新常态下的新经济增长动力在于如何有效提升全要素生产率。对于我国这样一个特殊的经济发展环境
随着电液伺服系统广泛应用在更高控制精度、更快响应速度的工程领域,其本身的非线性环节和外干扰已成为制约电液伺服系统性能进一步提升的障碍。当前,除了经典线性控制器外,