面向控制计算机的神经网络物体分类技术优化

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:buerzui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
最近几年,卷积神经网络技术在许多视觉应用中都取得了成功,目前大部分成功的物体分类系统都基于深度卷积神经网络框架。对于控制计算机平台来说,近年来随着技术的不断进步,移动控制计算机在硬件配置、运算能力上不断增强,同时它还有功耗低、体积小、实时性强、性能稳定以及成本低等特点。虽然控制计算机的运算能力在不断的增强,但是卷积神经网络的网络模型和计算量也在不断的增大,并且在使用神经网络进行物体分类时需要消耗大量的内存带宽、需要进行大量的计算。受限于控制计算机有限计算能力和存储空间,这都会导致大量的能量消耗,尤其是对于那些使用电池的控制计算机,这都会让神经网络很难部署到这些控制计算机之上。所以对控制计算机在存储和计算量这两方面进行优化的需求十分迫切。  本文主要针对控制计算机的神经网络加速器平台和移动控制计算机平台,针对这两个平台在进行神经网络分类任务时的内存占用以及计算量进行优化,并取得了如下研究成果:  1.提出了一种Frequent Pattern的压缩方法,对神经网络加速器中的输入数据进行压缩,来对加速器中的输入数据存储进行优化。本方法使用FrequentPattern的方法把数据用一个更短、更合适的格式进行存储,从而达到数据压缩存储的目的。在解压缩时,通过判断压缩后数据的前缀部分来对数据补全位数,使数据恢复到数据压缩前的状态。针对神经网络加速器我们设计了用于实现Frequent Pattern的硬件结构,来对数据存储进行优化。通过使用VGG、Alexnet、Network In Network这三种网络结构对Frequent Pattern的压缩方法进行评估,实验结果表明,本方法最高可以达到7倍的压缩率,优化效果十分理想。  2.提出了一种Base-Delta的压缩方法,对神经网络加速器中的权重数据进行压缩,来对加速器中权重数据的数据量进行优化。本文在存储神经网络中权重数据的时候,使用Base-Delta的方法进行压缩处理,方法是对输入的一组数据使用K-means聚类方法进行分类得到这组数据的中心点作为这组数据的Base,再用这组数据中每一个数据分别减去自己所属的中心点的值来得到Delta,从而使数据规模进一步减小。为了达到最大压缩效果,本文还使用剪枝的方法,使数据变得更加稀疏,使用Q格式来保存数据,把权重数据使用一个合适的位数进行存储。通过使用VGG、Alexnet、Network In Network这三种网络结构对Base-Delta压缩方法进行评估,实验结果表明,本文提出的方法最高可以达到16.8倍的压缩率,平均压缩率在5倍左右,优化效果十分理想。  3.提出了一种数据量化的压缩方法,对移动控制计算机中的权重数据进行压缩,来对控制计算机中的数据量进行优化。本工作针对移动控制计算机在执行物体分类任务时存在的内存占用问题进行优化。对于Caffe框架中重排后的二维权重矩阵,本方法使用数据量化的方法对其进行压缩。对于VGG的网络结构来说,我们使用共享码书的方法进行压缩。最后为了提升压缩后模型分类的准确率,本方法分别使用部分优化和整体优化的方法,来提高压缩后网络的分类准确率。最终在压缩倍率达到11.97倍的情况下,分类的准确率值只下降了1%左右,在经过优化之后,准确率已经跟压缩前的准确率十分接近,压缩后的模型完全可以满足了一般物体分类任务的需求。
其他文献
作为超级终端内的关键模块,LTE脱网网关主要负责脱网模式下超级终端的弹性组网功能以及为最终用户设备提供不间断的接入服务,并实现LTE小型化基站和卫星通信模块之间的数据交换
随着因特网的高速发展、家用计算机的普及和人们对高速快捷的商业行为的要求,在世界的范围内电子商务得到了较大的发展,一些传统的商业行为正在逐渐被电子商务所取代。在电子商
该文归纳了海量数据库中小模式发现的研究现状及热点问题,并在此基础上分别对例外规则和离群点展开了研究和探索,提出了自己的定义,同时给出了适合于大规模复杂数据集的挖掘
该文研究了基于汉语树库构造概率句法分析器的问题.在概率模型方面,该文扩展了PCFG的定义,提出了三个逐步详尽化的模型.新的模型突破了PCFG不合理的独立性假设,把局部结构上
随着计算机软件技术的发展和企业信息化工作的不断推进,企业使用的软件(如:ERP、PDM和CRM等)也越来越多。虽然这些系统是应用在不同的领域,管理着不同的对象,但是它们之间也有很
该文以昌河公司管理信息系统为背景,结合作者对分布式数据库理论的研究和项目的开发实践,对在Client/Server环境下的分布式数据库应用系统的实现方案和开发技术进行了研究和
作为自然语言处理的核心技术之一,句法分析是连接词法分析和语义分析的桥梁,可以在各种任务和领域中提供巨大的帮助。依存句法具有形式简洁、易于标注、便于应用等优点,逐渐成为
该文提出了基于IPSec安全传输平面的新体系结构.针对IPSec现有的本地实施和网关实施框架,提出了基于IPSec的安全传输平台的总体框架和模块结构,使之能够和现有的基于IPSec的V
神经网络的学习方式通常包括三种:监督(supervised)学习、无监督(unsupervised)学习和强化(reinforcement)学习。由S.Grossberg和G.A.Carpenter等人提出的自适应谐振理论(Adap
由于企业、政府和其他组织的工作越来越依赖于计算机网络系统,保护这些系统免受攻击已成为当务之急。随着互联网计算机的不断增加,IDS显然已成为必不可少的重要手段。 入侵