【摘 要】
:
近年来,卷积神经网络技术快速发展,其优异的性能已经在计算机视觉的多个领域得到广泛研究和验证,并取得卓越的效果。然而卷积神经网络也存在着参数量和计算量大、能耗大等缺点,限制了其在实际工业中的推广应用。因此模型的压缩和加速成为当下的一个重要研究方向。本文同时关注计算机视觉中的高级视觉任务和低级视觉任务。针对分类问题,我们提出两种结构化剪枝方法(ACO和ALI)对模型进行压缩。而对于低级视觉任务的超分辨
论文部分内容阅读
近年来,卷积神经网络技术快速发展,其优异的性能已经在计算机视觉的多个领域得到广泛研究和验证,并取得卓越的效果。然而卷积神经网络也存在着参数量和计算量大、能耗大等缺点,限制了其在实际工业中的推广应用。因此模型的压缩和加速成为当下的一个重要研究方向。本文同时关注计算机视觉中的高级视觉任务和低级视觉任务。针对分类问题,我们提出两种结构化剪枝方法(ACO和ALI)对模型进行压缩。而对于低级视觉任务的超分辨率问题,我们提出增量式线性量化的方法对模型进行量化加速。同时我们在多个数据集和网络结构上进行实验对比,证明我们方法的有效性。具体来看,本文所提出三个方法的创新和贡献如下:1、当下主流剪枝方法在评价卷积核重要性时通常基于卷积核的某一维度特征如L1范数,欧氏距离或泰勒展开级数等,这些单一维度的评价方法容易带来考虑不全面、剪枝误差较大等问题。为解决这些问题,我们提出基于蚁群优化算法(ACO)的模型剪枝方法。同时考虑不同节点间相关性、相似性以及卷积核的绝对值相对大小等特征,对卷积核进行全面的评价。同时对蚁群优化算法中的状态转移规则改进,使得算法在求解过程中以一定的概率取最优,以剩余的概率随机探索可能的解,避免最终解陷入局部最优。通过实验证明我们方法的有效性。2、我们系统的分析了卷积神经网络相邻层在卷积运算中的信息传递过程。然后在第二章所提出单层卷积核重要性得分的基础上,结合相邻层信息传递过程的分析,提出基于层间信息(ALI)的得分方法。以卷积核的层间得分对单层的得分结果进行修正并得到最终的卷积核重要性得分,进一步降低剪枝损失。最终我们的方法在多个分类数据集与模型上取得了优于现有公开方法的效果。3、对于超分辨率任务的压缩加速,是目前研究相对较少的领域。我们以经典模型SRRes Net为例,选用数据集Set5和Set14。采用常用的线性量化形式对其进行量化,为降低量化过程所带来的模型性能损失,我们在直接量化的基础上引入增量式量化方法,通过对权重分组、量化并固定及重训练的方式,使得量化后模型达到与原始模型相近的效果。同时我们对量化过程中的分组方式、量化特征图激活值等的影响进行探究。从而为超分辨率网络的压缩加速提供经验与指导。
其他文献
本研究以产蛋后期京白1号蛋鸡为研究对象,在玉米-豆粕型日粮中添加不同水平的α-月桂酸单甘油酯(α-GML),研究其对蛋鸡的生产性能、免疫功能、肝、脏健康、肠道健康四个方面的影响,为α-GML在蛋鸡生产中的应用提供理论依据。试验选用432羽63周龄蛋鸡,随机分成4个处理组,每组4重复,每重复27羽。对照组饲喂玉米-豆粕型基础日粮,试验组Ⅰ、Ⅱ、Ⅲ分别在对照组的基础上添加200、400、800mg/K
早期断奶会引起仔猪肠道屏障功能损伤,因此研究肠道粘膜屏障功能损伤及其发生机制,并寻求安全有效的营养调控措施,已经成为畜牧业健康可持续发展的必然趋势。研究表明,多糖与机体免疫功能的调节、细胞分裂和分化以及疾病的发生和发展等都有着密切的关系。白术多糖作为健脾益气中草药白术的有效成分,在调节肠道微生物区系平衡和肠道粘膜免疫功能等方面具有较强的活性,然而白术多糖对肠粘膜损伤的调控作用及其机制还有待研究。本
由柑橘间座壳菌(Diaporthe citri)引起的柑橘黑点病是柑橘生产中一种严重的真菌病害。近年来,柑橘黑点病发生日渐加重,果实的外观品质和销售价格下降,严重影响了柑橘产业的发展。对病原菌进行早期准确的诊断,对于柑橘黑点病的有效防控具有重要的实践意义。当前化学防治是控制该病害的主要措施,嘧菌酯是一种高效的甲氧基丙烯酸酯类(Qo I)杀菌剂,在美国被登记用于柑橘黑点病的防治,最近在我国也被登记用
研究燃烧过程中多环芳烃(PAH)以及碳烟颗粒等污染物的生成机理以及排放特性,对探究进一步提高煤炭等化石燃料的燃烧效率,降低污染物的排放具有重要意义。本文采用普通数码单反相机测量火焰辐射图像、增强型紫外相机测量火焰中的激光弹性散射(ELS@532nm)图像、激光诱导炽光(LII@1064nm)、以及激光诱导荧光(LIF@266nm)等二维光谱信号,并结合介入式的采样方法,搭建Hencken型平焰燃烧
杭州地區修志傳統源遠流長。清代學者杭世駿所纂《武林覽勝記》是一部關於杭州名勝的重要志書,與“西湖第一書”[雍正]《西湖志》關係密切。《武林覽勝記》流傳絶少,因此研究者亦極爲罕見。本文在整理文本的基礎上,重點對《武林覽勝記》寺觀門進行研究。本文以《武林覽勝記·寺觀》作爲主要研究對象,分爲緒論、第一章至第五章。緒論部分簡單介紹了《武林覽勝記》的成書背景及研究概況。第一章考察《武林覽勝記》的流傳情況,並
时间序列预测在经济、金融、能源、运输、医疗、气象和商业等众多领域发挥着关键作用。它赋予人们预见机会的能力,并指导人们做出决策。在时间序列预测领域,多变量、多步预测是最具挑战性的任务之一。随着预测步长的增加,误差可能会随之累积。通常需要一些辅助变量来支持目标变量的预测。如何刻画目标变量与辅助变量之间的关系是一个重要的研究课题。近年来,随着深度学习的兴起,并在诸多领域取得显著成果,不少文献也对其在时间
我国大部分农村地区饲养畜禽以家庭散养为主,既可实现自给自足,亦可提高畜禽健康,但因其环境的复杂性给农户造成一定的经济损失。林下养殖的开展将林业和畜牧业有机地结合,两者互利共赢。结合我国江浙地区竹林业生产规模大的特点,本论文旨在比较研究竹林散养(Free-range raised in bamboo forest broilers,BFB 组)和家庭散养(Free-range raised in f
卷积神经网络(CNN)已经广泛应用于深度学习应用领域,尤其在耗电量较大的GPU上。而最近有研究表明,设计CNN硬件加速器是一种更高能效的解决方案。但随着深度学习研究的发展,先进的卷积神经网络参数数量不断增多、计算量不断增大,导致神经网络部署时会遇到计算功耗过高与内存大小受限的困难。为了降低计算量,一些研究提出了对CNN权重稀疏化的方法。在CNN训练时随机将网络中小于某一阈值的权重置为零或量化为更少
我国用水资源相对短缺,并且存在大量的城市供水管网漏损现象,这不仅给社会带来了经济损失,也严重影响了居民的正常生活。而对供水管网进行漏损预测,可提前感知漏损事件,有效控制漏失的水量,对我国水资源工作具有重大意义。本论文结合独立计量分区(District Metering Area,DMA)对供水管网的漏损检测进行研究,具体工作如下:(1)本论文对目前常用的城市供水管网漏损预测方法进行了总结。并通过实
随着无人驾驶技术的不断发展,基于完整地图信息的路径规划技术已经发展得较为成熟,但还不能完全满足实际的需求。在现实环境中,我们无法依赖先验地图获得完整的信息,仅能获得地图中的部分静态障碍物信息。当无人车处在存在动态障碍物(例如行人、其他车辆等)的动态环境中时,对很多实际任务,如跟随驾驶与动态避障的能力都提出了更高的要求。本文针对动态环境下无人车的跟随行驶和避障规划进行系统的研究,主要工作与创新如下: