基于启发式算法的神经网络自动压缩方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:damson800413
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,以深度神经网络为代表的人工智能技术已经在计算机视觉、搜索推荐和语音识别等诸多领域取得了突破性进展。不过随着算法的不断发展,神经网络模型的参数量和运算复杂度也越来越大,严重制约着深度神经网络在存储空间、功耗、续航时间受限的嵌入式设备上部署。结构化剪枝算法够在几乎不损失模型预测精度的前提下,大幅减少模型的参数量和运算量。同时因其对计算、访存效率的提升不依赖于定制化的硬件平台而得到广泛的应用。然而,结构化剪枝算法中存在大量难以确定的超参数,在实现过程中仍有许多的挑战。本文对结构化剪枝算法的理论基础进行了研究,并在此基础上提出了一种基于启发式算法的自动结构化剪枝算法,主要内容包括:提出一种可扩展的自动结构化剪枝框架。现有的结构化剪枝算法存在大量难以优化的超参数,人工确定的超参数往往不是最优的剪枝策略。针对这一问题,本文搭建了一种可扩展的自动结构剪枝框架。框架不仅使用超参数优化模块完成对剪枝过程中超参数的自动优化,还采用了机制与策略分离的设计模式,实现了对多种剪枝算法的支持。提出一种基于等效性假设的个体适应度快速评估方法。在超参数搜索过程中使用迭代剪枝进行个体适应度评估会带来巨大的运算量。针对这一问题,本文提出了基于等效性假设的快速评估方法,并在CIFAR-10数据集的多个神经网络模型上验证了假设的有效性。提出一种基于组合优化算法的自动结构化剪枝算法。传统的启发式算法在搜索过程中不是收敛速度慢,就是容易收敛到局部最优解。针对这一问题,本文提出了一种基于差分进化和模拟退火的组合优化算法,不仅保留了差分进化算法收敛速度快的优点,还使用模拟退火算子降低了收敛到局部最优解的概率。本文基于自动结构化剪枝框架结合该组合优化算法与适应度快速评估方法,在多个数据集上对多种神经网络模型进行了自动结构化剪枝,并通过与现有自动剪枝算法对比,验证了本算法可以以自动化流程更高效地提高模型的压缩比。
其他文献
人体行为理解是智能空间的主要功能之一,也是实现服务机器人自主服务的前提和基础。目前对基于视觉的人体行为理解的研究大多采用通用的动作识别和物体检测算法,通过对简单实
单幅图像超分辨率重建是指由单张分辨率较低、细节表达不清晰的图像重构得到高分辨率图像的处理技术。由于高分辨率图像能够提供更丰富的信息,在图像理解、图像分析等计算机
近几十年来,轻量型机械臂以其体积小、功耗低、负载自重比高等方面的特点,受到越来越多的研究者的青睐。随着机械臂被更多的应用在移动机器人和智能化平台等场景,满足了人机
供应链绿色创新是供应商和制造商通过使用绿色材料、开展绿色生态设计和应用绿色生产工艺等方式来降低生产过程的能耗,同时向市场提供高绿色度产品的创新活动,是贯彻国家“绿
调阻机的加工精度直接影响电阻应变片的阻值精度,因此在应变片的生产中,对调阻机的机械结构精度和控制系统性能要求越来越高。针对上述的问题,本文研究设计了一种高精度的自
随着电力电子器件的发展和应用,电力电子技术也得到不断革新。在轨道交通,航空航天,军用设备,混合储能技术,新能源发电等多个领域都要求电力电子变换器具有宽电压范围的适应性,高电压转换比,高效率,功率双向传输等特性。针对电压宽范围变化的工作条件,本文采用隔离型双边半桥三电平DC-DC变换器拓扑结构,在双边三电平工作模式的基础上提出了变参数控制方案,使得变换器漏感电流有效值实时最小化,提高了变换器的轻载效
十九大以来,要素资源配置的效率成为经济转型的重心。土地要素在我国经济体系中,扮演着重要的角色。目前,大量文献提供了土地资源配置的实证依据,但是从土地需求方——企业的
准静态超声弹性成像是近年比较流行且已经投入临床应用的一种超声弹性成像技术。这一技术可以估计组织的弹性模量分布并且将其转化成可视的声像图,而生物组织的弹性或硬度改
在人工智能的时代背景下,计算机视觉被广泛应用于视频监控、人脸识别、无人驾驶等领域。人群计数是计算机视觉领域的一个研究热点,也是实现智能视频监控系统的重要手段,其主
本研究以结缕草抗褐斑病抗病转录组作为研究的大数据基础,分析结缕草抗褐斑病初期过程植物内源激素ABA在分子层面响应机制。以分子技术手段解析ABA相关特异性差异基因表达模