基于张量分解的卷积神经网络加速算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:sakuma556
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络作为人工智能领域中一种重要方法,在计算机视觉、自然语言处理等领域表现出相对于传统算法极大的性能优势,被广泛应用在各种生活场景中。不过随着卷积神经网络性能的提升,网络中的计算量和参数量也日益增大,这限制了其在手机、物联网终端设备等计算和存储能力有限硬件中的应用。针对该情况,本文对神经网络压缩和加速算法进行研究,提出一种基于张量分解的卷积神经网络加速算法。另外当利用张量分解对多个卷积层进行加速时,为合理地确定各卷积层的加速比例,本文提出两种Tucker秩选取方法。
  本文的主要研究内容和贡献包括:
  1.本文提出一种基于Tucker与CP(CANDECOM/PARAFAC)联合分解的卷积神经网络加速方法,Tucker-CP分解法。该方法首先利用Tucker方法将卷积核分解为核张量和因子矩阵,之后利用CP方法将核张量分解为多个秩为1的张量。实验表明,当利用Tucker-CP分解法对VGG加速8倍时,加速网络的分类正确率相比于原网络下降了2.065%。与单独使用Tucker分解法和单独使用CP分解法相比,分类正确率下降值分别减少了26.36%和50.62%。
  2.本文提出一种Tucker秩选取方法,由于该方法对变分贝叶斯矩阵分解(Variational Bayesian Matrix Factorization,VBMF)求得的Tucker秩进行了调整,故称为VBMF-V(VBMF Variant)方法。该方法考虑到不同卷积核在稀疏性和对网络性能影响程度方面的差异,首先利用VBMF求得体现各卷积核稀疏性的Tucker秩,之后利用该秩对卷积核进行分解,计算卷积核分解后单位计算减少量引起的分类正确率下降值,最后根据该值对VBMF求得的Tucker秩进行调整。实验表明,以VBMF-V方法选取的秩对AlexNet中各卷积核做Tucker分解,当AlexNet加速4倍时,加速网络的分类正确率相比于原网络下降了3.63%。与以相同比例加速各卷层相比,分类正确率下降值减少了13%。
  3.本文提出基于分类正确率下降值关于奇异值比值的拟合函数(Fitting Accuracy drop with Singular value proportion,FAS)选取Tucker秩的方法。考虑到随着Tucker秩的改变,单位计算减少量引起的分类正确率下降值也是变化的,该方法采用迭代算法,在迭代中利用FAS拟合函数,计算Tucker秩每减1时单位计算减少量引起的分类正确率下降值,并根据该值选择需要调整的Tucker秩。实验表明,以FAS方法选取的秩对AlexNet中各卷积核做Tucker分解,当AlexNet加速4倍时,加速网络的分类正确率相比于原网络下降了3.13%。与以相同比例加速各卷层相比,分类正确率下降值减少了25%。
其他文献
超级电容器是一种新型储能器件,在电动汽车功率平衡和能量回收等方面具有巨大的应用价值。而研究孔隙内电解质的微观结构,并用于宏观性能的提升,将是器件设计优化的重要方式。室温离子液体具有电压窗口宽、蒸气压低和化学性质稳定等特点,用于超级电容器时有利于提高其能量密度、增强安全性能。本文利用分子动力学模拟,研究了云母纳米孔隙内离子液体的微观结构和加入溶剂对于结构的影响,主要内容如下:  (1)为了研究离子液
电能储存技术是有关太阳能、风能等新能源开发利用的关键技术之一。作为一种新型电能储存装置,超级电容器具有高功率密度、充放电速度快、使用寿命长和对环境友好等优点。但超级电容器还存在能量密度低的问题,为了解决这个问题,具有良好导电性的金属有机骨架材料受到越来越多的关注,有望成为比活性碳更适合的超级电容器电极材料。本文选用Ni3(HITP)2这种具有良好导电性的二维金属有机骨架材料作为电极研究对象,搭配[
脉动热管具有结构简单、传热效率高、良好的环境适应性等优点,在高热流密度散热领域表现出了广大的应用前景。本文通过发展理论模型、建立实验验证及耦合数值分析的方法探究了不同热负荷条件下脉动热管稳态运行特性的准确预估及其在热管理系统中的应用。  首先,本文构建脉动热管两相流气液塞振荡模型,将不同热负荷条件,工质两相流流型演变及其换热特性变化融入到两气塞-液塞模型中,使模型可以更好地反映相变换热特性对液塞振
学位
低导热材料在隔热、热电转换装置等诸多领域有着重要的应用。通过改变材料的纳米结构的方式对声子输运进行调控,进而改变材料的导热性能,以获得更低的导热系数值,是低导热材料研究的常用方法。低导热层叠超晶格材料和低导热纳米复合材料分别在热电材料以及热障涂层材料占有重要的地位。本文采用分子动力学方法和原子格林函数方法模拟研究了低导热层叠超晶格AlAs/GaAs材料和低导热氧化钇稳定氧化锆材料的热输运性质,构造
NOx在固体表面的吸附是催化还原反应的关键。本文运用密度泛函理论方法研究了单一NO分子、NO2分子在本征LaFeO3(010)表面的吸附行为及B位离子(B=Ni2+、Cu2+、Zn2+)掺杂、氧空位缺陷对吸附性能的影响,获得最佳吸附模型表面为LaFe1-xNixO3-δ(010)表面,并进一步研究了NO和NO2在LaFe1-xNixO3-δ(010)表面的共同吸附。通过几何优化吸附体系获得能量最低
学位
城市电网规划是一个覆盖面很广的课题,其主要研究内容包括:电力负荷预测、变电站变化、网架规划、配电网潮流计算、无功规划、正常和故障状态下的可靠性分析、配电网自动化等.配电网潮流计算和配电变压器的优化做了一些研究工作.
学位
为了能在实验室中对VFTO作用下SF气体间隙及绝缘子沿面放电特性进行研究,该文设计了VFTO波形模拟装置,可产生单一振荡频率的快速振荡冲击电压(FOI),其上升时间仅十几纳秒,最高振荡频率接近20MHz,可满足研究需要.同时,为了能对FOI作用下放电过程有较好的了解,该文分别建立了预放电电流和发光测量系统及放电的高速分幅拍摄系统,可实现对SF气体在预放电通道形成过程中的光电测量.为了研究VFTO对
学位
GIS
配电网潮流是配电网无功优化的基础和工具,其计算速度和收敛性将直接影响优化的效果.该文通过编程实现了三种比较有代表性的配网潮流方法,并根据实际算例进行了数值比较和理论分析,选择敛性好、计算速度快的支路电流法,并在常规支路电流法的基础上对其进行了改进,进一步提高了算法的计算速度.该文从配电网的实际情况出发,由高压输电网无功优化数学模型导出了低压配电网无功优化的数学模型,并用遗传算法实现了基于以上数学模
学位
在量子资源理论框架下,量子相干是一种重要的可利用物理资源,可用以实现经典信息处理中难以实现的量子通信和量子计算。相对于研究日趋成熟的量子纠缠而言,人们对量子相干的研究刚刚兴起,近年来逐渐成为量子理论基础研究的热点问题。量子相干的研究领域十分广泛,从相干性的度量、相干的动力学演化与保护、相干与其他非经典关联的关系到相干的应用等方面都有涉及。其中,从资源理论的角度出发对量子相干态的操控也是研究的主要课