【摘 要】
:
现如今,深度网络模型是软件系统中的重要组成部分。在计算机视觉领域中就将卷积神经网络模型用于物体识别、图像分类等多种任务中,以这些任务为核心构建的软件大部分都会被部署在移动计算设备上。然而,如今的深度神经网络模型是非常大的,但移动计算设备的存储容量、核心频率和内存大小是有限的。比如VGG架构的模型需要超过500Mb的内存空间,在运行时占据高达1Gb的内存并消耗大量的cpu计算时间。有两种方案来解决这
论文部分内容阅读
现如今,深度网络模型是软件系统中的重要组成部分。在计算机视觉领域中就将卷积神经网络模型用于物体识别、图像分类等多种任务中,以这些任务为核心构建的软件大部分都会被部署在移动计算设备上。然而,如今的深度神经网络模型是非常大的,但移动计算设备的存储容量、核心频率和内存大小是有限的。比如VGG架构的模型需要超过500Mb的内存空间,在运行时占据高达1Gb的内存并消耗大量的cpu计算时间。有两种方案来解决这一系列问题。第一种是提出一些轻量级且准确度和大模型相当的模型。但是这些模型的架构需要大量时间来从头设计,并且他们可应用的范围是受限的。从准确度上来说,它们也很难保持和大模型相当。第二种方案则是对现有的模型进行压缩。由于几乎所有模型中都包含了可消除的冗余参数,所以这种方法的适用性很好,对不同的模型不需要重新设计方法,甚至可以对轻量化的模型进行进一步的优化。现有的压缩方法的重点都在于缩小模型的大小并保证模型准确度,但模型除了这两点之外还有其他属性,比如公平性、健壮性等。本文选择了剪枝、量化和知识蒸馏三种主流的模型压缩方法,研究了他们单独使用以及混合使用时对于模型属性的影响。总的来说,本文的主要工作有如下几点:(1)从模型的效率和模型的有效性上分析压缩方法对于模型的影响。模型的效率是指模型在存储时所占的大小以及运行时的速度,所占内存等。模型的有效性则代表了模型在数据集上的预测的准确性。这两点是压缩方法对于模型最显而易见的影响。(2)从模型的可信度上研究压缩方法对于模型的影响。模型的可信度中包含了健壮性和公平性两个方面。这两方面在以往的工作中没有明确的可量化的定义。本文中用模型在对抗攻击下的表现来定义健壮性。在公平性方面,本文提取了彩色-灰色这一特征,把机器学习领域中用到的公平性概念迁移到图像分类任务中。(3)本文选择剪枝、量化和知识蒸馏三种主流的模型压缩方法,将他们用不同顺序进行混合压缩,得到了一系列混合压缩方法。压缩方法混合使用的效果在以往研究中鲜有涉及。本文研究了压缩方法在独立使用和混合使用对于模型的不同影响,对压缩方法该如何混合,混合效果如何的问题给出了答案。
其他文献
创新创业教育指的是学校为了提高人才培养提出的一种教育模式,在当前双创背景下,高校创新创业教育必须渗入到人才培养的每一个教育过程中,用审视的眼光重新的去认识创新教育的内涵,准确将创新教育合理的定义,同时,加强高校创新创业体系的建设是服务国家强国战略的必然选择,当前,我国高校在创新创业教育方面,存在高校和企业之间合作不密切,政府支持不足,大学生创业项目少等诸多的问题需要解决,因此,要以学生的全面发展为
当代音乐作品的旋律到哪里去了?音乐没有了旋律还能被大多数听众喜爱吗?这本是一个常识性的基础问题,但今天讨论起来似乎还要面临学术上的风险。目前,音乐学院缺少旋律学课程,专业音乐创作和学术研究也对音乐创新存在着理解的误区。好听难,难于上青天!从音乐发展史来看,旋律是文明溯源,是信仰之光,是精神家园。面对今日之状况,提出旋律之问,是希望围绕"旋律"相关话题,与学界同仁共商同议,回望古今中外之经验,讨论当
在司法实践中,执行不能案件应该区分企业案件与个人案件,分别设置相应的认定规则。个人案件应符合"作为被执行人的公民暂时因生活困难无力偿还欠款,无稳定收入来源,仅能保持本人及其所扶养家属基本的生活、教育费用,又在短期内暂无明显好转迹象的"的个人破产制度的设置规则。
从音乐发展历史、构成机制,以及音乐在人类精神生活中的地位来看,旋律无疑处于基础与核心地位。但对旋律及旋律学的研究,迄今没有形成完整的学科架构与知识体系。中华文明在历史长河中积累了浩瀚的优秀旋律及丰富的旋律思想,中国音乐学人应展现该有的文化自觉和艺术担当,探索基于中国传统旋律继承、创新的旋律学。这既是中国音乐发展的内在需要,也是时代赋予我们的历史责任。本文在简述旋律学研究史的基础上,分析了当前我国旋
目的:观察中药穴位贴敷联合常规疗法治疗慢性肾小球肾炎(CGN)蛋白尿的效果。方法:将104例脾肾气虚证患者随机分为对照组和观察组各52例。2组均予厄贝沙坦片等常规用药治疗,观察组加用中药穴位贴敷治疗。2组疗程均为4周。治疗前后检测尿常规、24 h尿蛋白定量、血肌酐(SCr)、血尿素氮(BUN),并计算肾小球滤过率估计值(eGFR);进行中医证候评分和护理满意度的评价。结果:治疗后,观察组临床疗效优
文章梳理了美国铝业公司旗下航空航天产品的发展路径,并针对其航空航天产品中富有特色的紧固件产品进行了详尽分析,旨在为铝加工企业相关产品的研发和推广应用提供具体指导及参考,从而使铝加工企业更好地适应和满足我国高端制造业特别是航空工业快速发展的需要。
基于机理模型和数据驱动的混合模型方法进行了铝板带厚度的预测。采用Deform软件对Al-1100板带轧制工艺过程进行了有限元分析。利用数据驱动的方法对机理模型预测误差值进行修正。研究结果表明:混合模型值与实际值的误差在2.0%范围内,其合格率比机理模型值合格率提高了11.11%;混合模型样本平均误差较机理模型样本平均误差减小了0.46%。混合模型值比机理模型值更接近实际值。
以5G为支点的技术赋能与传播环境正在改变传统图书出版的营销生态,为图书营销渠道的运作带来新的思维方式。本文通过梳理当前图书营销业态面临的风险与挑战,分析在5G时代的市场风口下,场景营销、短视频营销、VR技术在线上线下以及渠道融合中的实践思路,对未来5G智能与出版业的融合发展进行展望。
庾信于承圣三年(554)出使西魏,不久江陵的萧梁政权覆灭,他失去了归路,西魏方面把他软禁起来等待他转身。期间他先后写下了几篇辞赋:最早的是《伤心赋》;稍后的《小园赋》表明他曾设想过死不屈服,但没有下定这样的决心。《枯树赋》则表示愿意重新开始自己在北方的新生活。后来他在《哀江南赋》中总结萧梁灭亡的教训,也说到自己的转变。那时汉族士人在少数民族主导的政权里当官是司空见惯的事情,他们对民族融合作出了贡献