【摘 要】
:
卷积神经网络模型压缩是一种有效降低卷积神经网络参数冗余和储存的方法。本文以卷积神经网络为基础,围绕基于权值量化和剪枝的压缩方法开展了如下研究工作。第一章是本文的绪论,首先介绍了卷积神经网络压缩的研究背景,其次介绍了国内外关于卷积神经网络压缩方法的研究现状,最后介绍了本文的研究内容和组织结构。第二章本文介绍了卷积神经网络的基本理论,首先介绍了卷积神经网络的组成,包括卷积层、全连接层、激活函数、池化层
论文部分内容阅读
卷积神经网络模型压缩是一种有效降低卷积神经网络参数冗余和储存的方法。本文以卷积神经网络为基础,围绕基于权值量化和剪枝的压缩方法开展了如下研究工作。第一章是本文的绪论,首先介绍了卷积神经网络压缩的研究背景,其次介绍了国内外关于卷积神经网络压缩方法的研究现状,最后介绍了本文的研究内容和组织结构。第二章本文介绍了卷积神经网络的基本理论,首先介绍了卷积神经网络的组成,包括卷积层、全连接层、激活函数、池化层和SoftMax,其次介绍了卷积神经网络的一些训练和优化方法,包括梯度下降、误差反向传播、参数初始化、批量标准化以及避免欠拟合和过拟合。接着本文介绍了卷积神经网络常用的模型:LeNet-5、AlexNet、VGGNet和ResNet。最后本文介绍了神经网络训练框架:TensorFlow、Caffe和Keras。第三章本文深入分析研究了几种经典卷积神经网络压缩方法,包括权值量化、模型剪枝和模型设计。首先分析研究了基于二值量化的卷积神经网络压缩方法:BinaryConnect,接着分析研究了两种基于三值量化的压缩方法:TWN和TTQ。本文还分析研究了一种基于权值8位量化的压缩方法,并使用该方法量化了ResNet和LeNet-5,该方法将模型压缩4倍,而模型准确率损失小于1%。以上几种卷积神经网络压缩方法是本文的对比算法。接着本文介绍了基于泰勒公式和基于γ系数的通道剪枝,最后本文介绍了基于模型设计的压缩方法:MobileNet。第四章本文首先研究了卷积神经网络权值的分布情况和计算机存储数值的格式,根据权值分布情况以及浮点数与定点数的特点,提出了基于整系数表达(Integer Coefficient Representation,ICR)的卷积神经网络压缩方法,使用8位整系数定点数代替32位浮点数保存权值。本文研究了整系数表达权值后神经网络权值的更新策略。接着本文对比分析了分步迭代进行整系数表达的策略对结果的影响。本文还对比了权值选取策略的不同和正则化的不同对结果的影响。接着本文使用分步迭代、优先选取绝对值最大权重和L2正则化项进行整系数表达卷积神经网络,本文提出的ICR算法将模型压缩4倍,节省了存储空间。准确率却没有降低,在ResNet上取得了准确率高于原始网络0.27%的结果,在LeNet-5上高0.14%。最后本文将ICR算法与其他量化方法进行对比分析。第五章本文首先介绍了几种经典的剪枝方法,然后分析剪枝后得到的稀疏网络的权值分布特点。接着本文提出了将剪枝算法与整系数表达相结合的卷积神经网络压缩方法,进一步去除神经网络模型的冗余。在整系数表达稀疏卷积神经网络时,神经网络会动态的恢复一些重要的被剪掉神经连接,这可以避免可能的性能下降。在不考虑存储稀疏网络权重位置信息的情况下,ICR算法将ResNet压缩约12倍,LeNet-5压缩约78倍,且模型准确率没有损失。
其他文献
自拉曼散射效应发现以来,拉曼光谱作为一种指纹识别信息技术赢得了研究者的广泛关注,表面增强拉曼光谱(SERS)的发展将拉曼光谱学又向前推进了一步。SERS凭借着对样品无损、无
水下无线传感器网络是一种由若干水下传感器节点自组网形成的通信网络,用于水下信息采集工作,近些年来在海洋环境监测、水下目标跟踪等领域发挥了重要作用。水下无线传感器网
随着移动互联网的迅速发展,智能设备已成为人们生活中不可缺少的部分,Android系统的电子设备在市场中占有重要地位,吸引很多恶意开发者对Android应用进行肆意修改,例如,插入
服务贸易是当今国际贸易中发展最快的领域,近几十年来,旅游服务贸易是泰国主要的创汇来源行业之一,为国民经济的发展贡献了重要的一股力量,引起世界各国的广泛关注和重视。然
PDC钻头自七十年代中期问世以来,由于在软到中硬地层中钻速快、寿命长、可靠性高、综合效益显著,因而在世界石油、天然气、地热开发等领域的钻井工程中得到越来越广泛的应用。通过不断的技术研究钻井水平进步较快,使本气田的钻井周期得到了大幅度的降低。但是单井钻头使用量还是较大,单只钻头进尺和机械钻速还较低,从而造成单井钻头成本较高,钻井成本增大。因此,必须投入较大力量,对适用于本区域的PDC钻头进行深入研究
目的:探讨高压力生活状态下学生人群胃动力变化,建立可靠的功能性消化不良超声定量检测胃动力变化评价方法。方法:制定标准化问卷,对在校779名学生进行调查问卷,调查所有研究对象作息时间、大小便、饮食习惯等,然后由经过培训的精神科或神经内科医师对学生进行面对面交流并作出诊断,根据汉密尔顿焦虑量表(HAMA)评分进行分组,评分>7分为高压力组,评分≤7分为非高压力组。从高压力组中随机抽取52例,其中
城市化水平的不断提高,带来交通拥堵问题的频繁发生。如果能够通过一定的手段,对交通流情况进行预测,则可以缓解城市交通压力。在城市道路网中,交通拥堵呈现出向四周辐射的特性。本研究以交通拥堵预测和挖掘拥堵传导规律为目的,从时空两个维度对拥堵传导进行建模,提出一种基于遗传网络规划算法(GNP)的时间序列关联规则挖掘模型,通过挖掘城市路网之间的拥堵传导规则,对未来道路的交通状态进行预测。本研究首先介绍了关联
本文以SCJY学生管理有效性为研究背景,以管理学理论为指导,运用文献分析、比较分析、系统分析、定性分析与定量分析相结合等方法对学生管理有效性进行系统的研究。论文在明确
随着智能家居、工业互联、智能制造和车联网等应用的发展,物联网的需求和使用稳步增长。通过蜂窝网支撑物联网应用成为必然的趋势,但是当前的LTE网络无法有效承载物联网带来
中国商品住房市场在1998年住房市场化改革后逐渐发展成为带动国民经济发展的主导产业。但是商品住房市场的迅猛发展也产生了诸多社会问题,居高不下的房价对居民的购房能力提