基于剪枝的卷积神经网络压缩方法研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:kangjilin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,卷积神经网络在许多与计算机视觉相关的任务(如目标检测和图像识别)上均取得了显著的成就。但是多数卷积神经网络的优异性能都以计算和内存成本的显著增加作为代价,因此很难将它们部署在资源受限的环境(如移动设备和嵌入式设备)中。因此,对卷积神经网络进行压缩和加速,降低其对计算和内存资源的消耗,已逐渐成为一个热门的研究领域。剪枝是卷积神经网络压缩的主要方法之一,它可以有效识别并剔除网络的冗余部分,同时最小化网络性能的损失。本文围绕剪枝提出两种结构化的剪枝方法用于对现代卷积神经网络进行压缩,进而达到加速的目的。本文具体的贡献总结如下:1.为了解决现有的非结构化剪枝方法难以获得实际加速的问题,本文提出了一种结构化的基于重要性的全局滤波器剪枝方法。该方法首先通过引入梯度信息,对多批次样本训练过程中生成的梯度进行统计,并将归一化后的统计值作为最终的滤波器重要性分数,利用重要性分数可以评估移除滤波器对网络性能带来的影响。然后在此基础上设置全局剪枝率构建一个全局排名,通过全局排名可以高效的完成单次修剪。最后在重训练的过程中恢复网络的性能。此外,该方法使用了一种分组剪枝的方式来解决剪枝Res Net时存在的错位问题。实验结果表明,本文提出的方法可以在减少计算量和保持准确度上取得很好的平衡。2.为了解决重训练网络效率低以及耗时严重等问题,本文在基于重要性的剪枝方法基础上,结合动量信息提出了一种基于动量的滤波器剪枝方法。该方法主要分为四个步骤:首先通过归一化每层现有滤波器的平均动量值,获得每一层的动量贡献比例;接着使用重要性剪枝中的衡量标准评估每个滤波器的重要性,并通过设置剪枝率在每层中选择不重要的滤波器;然后将选择的滤波器参数权重置零来暂时消除它们对网络输出的影响,同时衰减剪枝率;最后按贡献比例重新启用具有最大动量值的缺失滤波器来重建滤波器。实验结果表明,本文提出的方法可以提高剪枝的有效性,特别是在剪枝大型卷积网络(如Res Net56)上取得了良好的结果。
其他文献
历年来,对于大型或中型复杂滑坡的形成机制及稳定性研究等,一直为岩土工程界研究的焦点之一。虽然前人对其已经做出了大量研究,但对滑坡特征及其演化机理并未做出全面系统的理解,对滑坡稳定性研究及其发展演化趋势的预测方面仍然缺乏一定的理论指导。本文以“香格里拉市叉部落滑坡防治工程勘查及可行性研究”项目为依托,对叉部落滑坡展开相关研究工作。从滑坡的整体规模和地质条件的复杂程度上划分,叉部落滑坡为中型复杂滑坡。
三峡库区是长江中下游重要的森林生态系统,但该地区长期存在酸雨问题。酸雨会导致湖泊河流水体酸化,阻碍水生动植物生长,导致森林退化,使其生产力降低。此外,库区降水的化学成分正在逐渐改变,酸雨类型正在向混合型以及硝酸型酸雨转化。本研究选取该地区典型树种马尾松、杉木、青冈和毛竹作为研究对象,结合三峡库区的酸雨特征,通过模拟不同浓度(pH=2.5、3.5、4.5)和不同类型(硫酸型、混合型和硝酸型)的酸雨实
大数据、大模型为人工智能的飞速发展奠定了坚实的物质基础,也提出了新的技术挑战,单机训练已经远远无法满足其对计算能力与存储资源的需求。分布式机器学习利用计算机集群中
沟眶象Eucryptorrhynchus scrobiculatus Motschulsky与其近缘种臭椿沟眶象E.brandti(Harold)在我国广泛分布,两者寄主单一,主要钻蛀危害臭椿Ailanthus altissima(Mill.)Swin
本论文主要研究Linux操作系统中的取证方法,分析Linux系统的管理方式,包括磁盘的管理、扩展文件系统的管理和内存的管理。首先通过分析MBR和GPT等格式的磁盘得到磁盘的具体结
近年来,随着海洋强国战略的不断推进,建立全方位、完善的监测系统对海底进行全方位的观测势在必行。要实现在足够大的空间和时间尺度上收集尽可能多的物理信息,需对海洋物理
随着信息技术和人工智能的快速发展,计算机的数据处理能力得到了显著的提升,支持了从二维图像向三维模型的转型。三维建模的应用场景非常广泛,例如在化工领域,通过自动化场景
研究山区复杂地形条件下雷电电磁场的传播特征及其耦合效应,可为闪电定位算法修订、电力系统线路防雷设计等方面提供重要的理论参考。本文基于二维时域有限差分法,引入共形网格技术来对山体地形进行精确建模,在此基础上,首先讨论单个山体以及多山体地形条件下的雷电电磁场传播特征,并以云南昆明地区为例,分析真实地形对雷电电磁场及闪电定位精度的影响;其次结合场线耦合模型进一步计算雷击山体情况下垂直和水平结构多导体架空
伴奏制作是音乐工作中非常重要的元素之一,而和弦编配是伴奏制作的关键环节,通常需要较多的音乐天赋和深厚的乐理知识才能胜任。目前该工作大多交由人工来完成,单调枯燥且门
随着社会经济的飞速发展,人与人之间的交互行为愈加频繁,每个人都不是生活在自己“孤岛”上的独立的“自然人”,而是与社会有机联系的“社会人”。法律为了适应社会的这种进