基于FPGA的图像处理深度学习模型的压缩与加速

来源 :北京工商大学 | 被引量 : 0次 | 上传用户:wolfzz88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着图像处理需求增多,深度学习的作用显著提高,图像处理深度学习模型在生活、生产、安防等领域的作用显著提升,如YOLO、SSD等目标检测与识别网络,为自动驾驶、行为识别等任务带来了极大的便利。但是,庞大的深度学习网络参数也给计算力提出了要求,大量的参数计算不仅影响了运算结果的实时性,也给要求低功耗的嵌入式端带来了巨大的能量消耗。在深度学习网络、FPGA技术及嵌入式技术的基础上,针对在嵌入式端实现图像处理深度学习模型实时性差、功耗高的问题,提出了一种新的深度学习模型压缩方法,并在FPGA上进行了模型加速,形成了一套基于FPGA加速的目标检测与识别装置,一定程度上解决了深度学习网络在嵌入式端实时性差、功耗高的问题。本文的主要研究内容如下:1.对嵌入式端实现图像处理深度学习模型的平台及方法进行详细的调研及梳理,在充分认识嵌入式端实现深度学习模型的优缺点后,提出了本文研究的总体设计框架。2.针对深度学习模型参数量过大,在嵌入式端应用受限问题,提出一种基于通道稀疏度的通道剪枝卷积神经网络模型压缩方法。该方法定义了卷积神经网络中各通道的稀疏度函数,通过计算各通道的稀疏性指数,判断卷积神经网络的通道稀疏特性,利用通道稀疏特性进行通道剪枝,并将L2正则项与稀疏度函数结合构建了正则化稀疏通道函数。在CIFAR-10和CIFAR-100数据集上将该剪枝方法应用在VGGNet、Google Net和Res Net三种经典网络,保持模型的精度的同时,将模型的参数量分别压缩至2.1MB、1.7MB和0.64MB。3.针对嵌入式端实现深度学习模型功耗高,实时性差的问题,设计基于Winograd最小滤波算法的目标检测算法YOLO加速器,将YOLO算法中的卷积操作由乘加方法改进为Winograd方法,降低了在加速YOLO模型时的乘法器资源消耗。将低功耗、高并行的Zynq系列FPGA芯片作为加速YOLO算法的平台,保证了嵌入式端加速深度学习模型的低功耗。4.设计完成基于XILINX Zynq7020 FPGA加速的目标检测与识别装置,优化嵌入式操作系统的启动时间,完成硬件平台搭建,设计USB接口、HDMI接口、以太网口等外部电路,并对所设计的8层高速PCB进行布局布线,从图像的采集、处理到显示,设计实现一套基于FPGA加速的目标检测平台。本文提出的基于正则化稀疏的通道剪枝方法可对深度学习模型进行压缩,在保证模型精度的前提下,能够大大降低参数量,在FPGA上加速深度学习模型,不仅实时性好,也能大大降低模型运算的功耗,最终形成的基于FPGA加速的目标检测与识别装置,为工厂巡检、无人机及交通监测等多种场合提供一种新思路。
其他文献
当今社会,在日益加剧的市场竞争和高强度的工作压力激化下,越来越多的从业者在工作岗位和生活中频繁的出现身体疲乏,精神低落,兴致不高甚至消极悲观等负面情绪和身体状态,经过心理学家的调查和研究,这种身体和心理状态的反映被叫做“职业倦怠”。长期存在职业倦怠现象会严重影响到从业者的身心健康,同时也会对企业的发展和社会的进步造成阻碍。是值得我们关注和重视的一个问题。近年来,90后一代陆续步入职场,90后群体在
学位
21世纪是以创新为特征的知识时代,在这个动态变化的环境中,随着技术的升级和变革的加快,创新已然成为企业盛衰的关键。为了顺应这一趋势,全国各地都在争相进行“人才大战”,人才红利越来越受到重视,然而在这一进程中,不可避免地出现了劳动力过度胜任的现象,而且在国际和国内劳动力就业市场普遍存在。随着时代的发展,团队合作的形式逐渐被大多数企业采用,如何充分发挥过度胜任者在团队中的积极作用,激励他们增加创新行为
学位
复杂时间序列预测问题普遍存在于智能交通、天气预报、食品安全、金融经济等复杂系统中,不仅与日常生活息息相关,还与社会发展和经济发展紧密联系。如果能够准确地把握时间序列的波动方向,则可以帮助管理者制定更好的决策,提高效率并减小损失。然而,由于实际获取的时间序列具有高度波动性与复杂性,在一定程度上加大了预测难度,准确预测含有复杂噪声的非线性时间序列仍是一个挑战。本文从非线性时序数据预测方法研究着手,结合
学位
学位
图像作为一种语义丰富的信息载体,在物流管理的实时监控中发挥着越来越重要的作用。一个异常物体通常与特定区域密切相关。对特定区域的异常目标进行检测,有利于提高检测分析的准确性,从而提高物流管理水平。在物流运输领域中,由于快递物品数量很多,快速分拣货物,导致掉件丢件的事情屡见不鲜。而在装卸搬运的过程中,包装底部柔软且凹凸不平等物品在传送带进行传送时产生物品掉落的现象和由于工人工作繁忙,物品遗忘在传送带下
三维数据作为一种新兴的数字媒体,广泛应用于文物修复、医学诊断、数字娱乐、智能制造、智慧城市、3D打印等诸多领域。随着三维扫描设备和技术的发展,三维数据的获取更加的方便和普及。然而在三维数据获取过程中,遮挡、错匹配、抖动等情况不可避免,导致获取的数据缺失和不完整,使得重建出的三维模型存在孔洞,影响后续对模型的分析、编辑等操作,使模型在各领域应用中受限。因此,三维数据修复至关重要。三维数据修复的目标是
学位