对抗鲁棒神经网络剪枝方法研究

来源 :南京信息工程大学 | 被引量 : 1次 | 上传用户:Xusian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习近些年在飞速发展的同时,依然面临着一些挑战。一方面,由于目前的卷积神经网络普遍存在模型结构复杂和参数量冗余等问题,很难被部署到有限硬件资源和功耗预算紧张的移动设备端上。另一方面,由于卷积神经网络本身的脆弱性,很容易受到对抗样本的攻击,模型的鲁棒性受到严峻挑战。本文围绕这两个方面展开研究,具体研究内容归纳如下:(1)提出一种基于BN(Batch Normalization)层的全局动态模型剪枝方法,方法的整体流程分为稀疏模型训练和模型重构两步。在稀疏模型训练阶段,进行“软剪枝”操作,并基于BN层的缩放因子定义两种合适的剪枝准则来估计模型通道的重要性,然后将对应不重要通道的BN层缩放因子和偏移因子置为零,这些被置为零的参数仍然可以参与之后的迭代更新。通过模型训练动态选择出冗余性的通道,当模型训练收敛时可以得到一个稀疏的模型。在模型重构阶段,基于得到的稀疏模型,通过“硬剪枝”的方式将BN层中稀疏参数所对应的通道整体移除,最终得到一个精简的剪枝后模型。在CIFAR-10和CIFAR-100数据集上的实验结果证明了该方法的有效性,将Res Net56和Res Net110裁剪将近一半的参数和秒浮点数时,可以达到接近甚至超过原模型的精度。(2)提出一种对抗鲁棒性模型剪枝方法,方法的整体流程分为对抗预训练和迭代剪枝两步。在对抗预训练阶段,本文首先在目前经典的对抗训练算法基础上进行改进,提出一种新的对抗训练方法,然后通过改进后的方法进行预训练得到一个鲁棒性的模型。在迭代剪枝阶段,基于得到的鲁棒性模型,根据权重参数的绝对值进行全局排序剪枝,然后再通过对抗训练进行微调。该方法通过对抗训练来增强模型的对抗鲁棒性,通过权重剪枝来裁剪模型中冗余的参数,可以在实现较高剪枝率的同时,保证模型的对抗鲁棒性不受影响。在MNIST和CIFAR-10数据集上的实验结果证明了该方法的有效性,将模型裁剪90%的参数时,仍然具有很好的鲁棒性。
其他文献
颜色是人们购买纺织品时要考虑的一个重要因素,如何完美的达到预期的染色效果,就需要对染色过程中染料的浓度进行精确控制。现如今印染企业中染色的自动化设备发展十分迅速,
裁片是汽车座椅成品加工的重要中间件,其质量的好坏直接关系到座椅的最终品质。其中,裁片眼刀特征是衡量裁片是否合格的重要指标,眼刀的类别判定与尺寸测量是裁片拼接之前需
口蹄疫已经严重危害到我国养猪业的健康和可持续发展,目前尚无特效药治疗或预防此病,因此研制开发出一种安全、高效以及抗病毒的生物学制剂显得十分重要。有研究结果显示,猪α6干扰素(Porcine interferon alpha6,PoINF-α6)和猪β干扰素(Porcine interferon beta,PoINF-β)均具有较好抗病毒活性。本研究采用分子克隆和基因工程等分子生物技术学体外制备2个
学位
遥感图像配准技术因其实用性强、应用范围广等特点已经成为目前的研究热门。遥感图像配准技术的发展在灾害勘测方面有着广泛应用。为了获取更有效、更全面的灾后遥感信息,在
为提高化学打顶剂应用效果,筛选棉花打顶剂在阿拉尔垦区的最佳喷施时间,2019年选用新陆中37号与新陆中70号两个南疆主推棉花品种,设置不打顶(T0)、7月1日人工打顶(T1,CK)、7月1日开始喷施(T2),7月6日开始喷施(T3)、7月11日开始喷施(T4)及7月16日开始喷施(T5)6个处理,喷施打顶剂前于6月18日、28日、7月8日分三次喷施塑型剂。每次施药前一天测定并比较株型、产量及棉纤维
学位
文本蕴含识别(Recognizing Textual Entailment,RTE)又称自然语言推理,是自然语言处理领域的一项基础任务,其目标是判断两个句子之间的语义推理关系,在机器翻译、问答系统等
随着我国汽车行业合资股比限制放开,合资车企的中外合资方均有独资进入市场的可能,任意一方的独资倾向对合资伙伴和合资企业造成潜在威胁,合资方的独资市场进入策略成为各方
多智能体系统中利他行为的困惑是一个难题,这是一个涉及多个学科的交叉课题,公共品博弈可以看作是对其进行建模和探索的一种范式。在传统的公共品博弈定义中,所有参与者利益
随气候变化与水土资源不合理开发,导致天然胡杨林群落极度退化,严重危及荒漠绿洲的持续发展,因此探明塔里木河上游荒漠河岸胡杨林群落空间格局动态与构建机制,对遏制生态退化、构建植被保护与恢复体系、促进经济生态可持续发展具有重要意义。本研究在塔里木河上游建立3块共11公顷的研究固定监测样地,以胡杨群落植物物种调查数据为基础,分析群落的物种组成及群落结构,采用基于完全随机模型的空间点格局分析、8种物种多度分
学位
生产过程操作优化的目的是为生产过程提供最优的参数设定值,对于提高产品质量、降低能源消耗、提高生产效率具有重要影响。连续退火生产过程存在众多不确定因素,在实际生产中