【摘 要】
：
近年来,卷积神经网络作为机器学习的热点内容以及深度学习算法之一,已经在图像识别等多个领域成功应用.随着研究的深入,为了构造出准确率更高的网络模型,人们往往通过增加卷积神经网络的层数来达到目的,但是这导致计算量强度要求成倍增加,巨大的计算量也在不断逼近计算机计算能力的极限.因此减小模型大小和参数量、加快模型的运算速度就成为亟需解决的课题.为解决网络模型规模不断增大的问题,早期的学者们提出了多种模型压
论文部分内容阅读
近年来,卷积神经网络作为机器学习的热点内容以及深度学习算法之一,已经在图像识别等多个领域成功应用.随着研究的深入,为了构造出准确率更高的网络模型,人们往往通过增加卷积神经网络的层数来达到目的,但是这导致计算量强度要求成倍增加,巨大的计算量也在不断逼近计算机计算能力的极限.因此减小模型大小和参数量、加快模型的运算速度就成为亟需解决的课题.为解决网络模型规模不断增大的问题,早期的学者们提出了多种模型压缩的方法,如网络剪枝、低秩分解等.但是单一的压缩方法往往不能取得令人十分满意的效果.网络剪枝分为结构剪枝和非结构剪枝,目前针对卷积神经网络中的通道级剪枝属于结构剪枝,卷积层通道修剪针对的是整个通道的修剪,不针对个别权重,可有效节省运行内存,但只适用于常规卷积层;而对于全连接层参数大量冗余的情况,难以采用通道剪枝的方法.为处理全连接层参数冗余的问题,有学者提出设计更加高效的卷积结构,如深度可分离卷积、残差块等来替代卷积层的操作,这样可使得计算量比标准卷积层小,同时保持较高的精度,但是这种处理方法存在提取特征退化严重（如将输入样本划分空间,片面提取了局部空间特征）、模型泛化能力差的问题.针对存在的这些问题,对用于图像分类的一般卷积神经网络,本文提出了基于卷积层通道剪枝、卷积层与全连接层参数修剪量化的模型压缩方法.本文的主要工作如下:1、为每个卷积层设计自适应的跳过性修剪网络通道方法.在网络中通过嵌入通道修剪模块用于计算卷积层通道的重要性分数,在本文我们称之为显著性分数,再通过设定的阈值得到一个二值0,1标志序列,然后将标记为“0”的通道剪枝.对于阈值的设定,则通过给定一个期望的计算量损失（成本损失）目标,此处我们取训练过程中网络分类损失与期望的计算损失之和来确定这个阈值,从而约束卷积神经网络中的通道数量.2、在卷积层通道经修剪数量减少后,先对卷积神经网络的正常连接进行训练.训练结束后再依据权重绝对值的大小排序,然后设定一个阈值,将小于此阈值的权重置为0,而大于此阈值的予以保留.再对网络进行训练以获得新的连接权重.最后对权重进行量化,然后再通过连接多个共享的权重来减少需要存储的有效权重的数量,以尽最大可能压缩模型.实验表明,对用于图像分类的三种经典卷积神经网络与三种数据是有效的.压缩网络模型在减少模型大小的同时仍能取得与原网络相当或者更优的图像分类效果.
其他文献
目的 调查我院门、急诊患者抗菌药使用现状，并提出针对性的对策。方法 选择我院2015年1月-2020年1月共2084例门、急诊患者作为研究对象，分析患者的常用抗菌药种类，统计抗菌药不合理应用情况。结果 2084例门、急诊患者中有182例患者应用抗菌药物治疗，占8.73%；抗菌药主要包括头孢克洛、头孢呋辛、克拉霉素、头孢地尼、头孢唑林、罗红霉素、替硝唑、莫西沙星、甲硝唑；用药不合理中抗菌药物选择不合
一维纳米结构无机材料,如纳米纤维、纳米棒、纳米管等,是纳米科学和工程的重要建筑材料。这种材料中能够实现传统三维材料难以实现的理想的性能,如电荷/质量/热能的快速传输,实现可调节的电子结构、产生限制效应以及拥有高表面积等优点。尽管在控制无机材料的合成方面取得了相当大的进展,但在保持形态和成分的均匀性的情况下,当物体的一个或多个维度的长度降至10纳米以下时,难度会显著增加,因此,合成形貌可控的一维纳米
在以光伏发电直接消纳为主的同时，充分探索“光伏+”辅助消纳模式，开展全电厨房、电蓄能空调、电锅炉、电动汽车等多种形式的电能替代，进一步优化公共机构能源消费结构为贯彻落实国管局等四部委《深入开展公共机构绿色低碳引领行动促进碳达峰实施方案》关于大力推进太阳能光伏光热项目的相关要求，
初中英语教学还存在许多问题,比如教学方法相对落后,没有突出学生的主体地位,没有秉承以人为本的教育理念。教师的教学方法主要还是以老师为主学生为辅,而没有充分的发挥学生的主观能动性。学生的英语能力停留在书面上,而不能很好的进行表达与应用,不利于学生的长远发展。随着时代的发展,经济的进步,教学方面也应该进行相应的调整,英语作为一门语言类学科,对语法的掌握至关重要,教师在英语教学中要注重语法的教学,促进学
隧道超前探测也被称作隧道超前地质预报,是利用物探或者钻探方法对隧道掌子面后方区域内地质信息做出预测的一项技术。施工方可以利用预测的信息制定相应的施工计划和防范措施,从而减少事故的发生,保障人的生命和财产安全。地震勘探方法作为隧道超前探测的常用手段,技术发展比较成熟,但仍然存在成像精度低,运算速度慢,难以预报复杂地质构造等不足。本文针对这些问题,提出了基于弹性波逆时偏移的隧道超前探测成像方法,并进行
目的:分析医院2019年普外科Ⅰ类切口手术患者围术期预防用抗菌药物使用的合理情况。方法:抽取开封市陇海医院2019年普外科Ⅰ类切口手术患者300例病历资料,统计其围术期抗菌药物的使用、用药时机、用药疗程、用药品种、用法用量、联合用药及用药后伤口愈合情况,分析其预防用药的合理性。结果:300例普外科Ⅰ类切口手术患者中,围术期抗菌药物未用药30例（10.00%）,治疗用药72例（24.00%）以及预防
算子的局部谱、轨道及不变子空间一直是算子理论的重要研究内容,算子的幂正则性作为研究算子的局部谱、轨道及不变子空间等问题的重要工具倍受研究者的重视.若序列（?）是一个次可乘非负序列,即wm+n ≤wmwn,（?）m,n,则极限（?）存在.显然对Banach空间X,若算子T∈L（X）,则序列{‖Tn‖}n=1∞次可乘,所以序列{‖Tn‖1/n}n=1∞收敛.但是,对于任意的x∈X,序列{‖Tnx‖}n
由于超导材料具有潜在的应用前景和显著的学术价值,它的相关研究备受关注。层状B-C-N材料由于其插层性质、超导性质和半导体性质可被应用于电池、电容和半导体而被广泛报道。理论研究发现BC2N的带隙极大程度上依赖原子的排布方式,由于层状BC2N的原子排布不同带隙取值范围为0～1.62 e V,类石墨层状BC2N通过插层施主材料而展现出独立的物理性质,如超导等。通过插层的方法可以明显的改变材料的电子分布方
目的:分析医院Ⅱ、Ⅲ类切口手术患者围手术期抗菌药物预防使用的现状及其合理性。方法:抽取医院2020年1月1日—2020年6月30日收治的行Ⅱ、Ⅲ类切口手术患者200例病历,分析与评价其围手术期预防使用抗菌药物合理性。结果:200例Ⅱ、Ⅲ类切口手术患者中,199例患者在围手术期预防使用了抗菌药物,抗菌药物预防使用率达99.50%,其中以单一用药居多（占90.00%）;使用频率TOP 3分别是头孢硫脒
复杂网络在现实生活中是广泛存在的,近年来复杂网络理论和应用得到了飞速地发展.复杂网络是由许多具有某种结构且相互独立的节点构成,节点之间的连接具有复杂结构.目前复杂网络的动力学行为,如稳定性,同步和控制等成为人们最关心的问题之一.复杂网络的控制是指利用网络的自身的结构,人为地对网络加以影响,使得网络达到人们所期待的状态.因此提出简单实用的复杂网络控制方法,实现网络控制,是研究的关键.另外在许多的实际