【摘 要】
:
目标检测作为人工智能学科中与生活最为贴近的研究热点之一,在自动驾驶、人脸检测、智能监控、医疗及工业检测等场景都有着广泛的应用。随着深度学习的发展,目标检测任务在准确率越来越高的同时,神经网络模型也越来越复杂。本文通过对目标检测网络以及神经网络压缩算法的研究,以端到端目标检测网络为切入点,着手于知识蒸馏、模型剪枝及参数量化三个方向对目标检测网络的压缩问题进行了研究。希望给目标检测网络的压缩问题带来新
论文部分内容阅读
目标检测作为人工智能学科中与生活最为贴近的研究热点之一,在自动驾驶、人脸检测、智能监控、医疗及工业检测等场景都有着广泛的应用。随着深度学习的发展,目标检测任务在准确率越来越高的同时,神经网络模型也越来越复杂。本文通过对目标检测网络以及神经网络压缩算法的研究,以端到端目标检测网络为切入点,着手于知识蒸馏、模型剪枝及参数量化三个方向对目标检测网络的压缩问题进行了研究。希望给目标检测网络的压缩问题带来新的解决方案和思路。通过结合实验结果分析不同压缩算法及其组合对目标检测网络性能的影响,最终本文提出了一套完整的目标检测网络压缩方案,在显著压缩网络模型的同时,对模型的检测准确率影响不大,并在低功耗设备Jetson nano上进行了实验验证。具体而言,本文进行了如下工作:1.提出了一种针对目标检测网络的知识蒸馏方法。通过结合目标检测网络的结构特点,对骨干网络采取基于FSP的知识蒸馏,然后使用L2损失约束特征增强部分,最后对检测头部采用传统知识蒸馏方法三部分作为整体的知识蒸馏方法。2.提出了一种新的通道剪枝算法。并通过对比实验说明该方法相对于其他剪枝算法的优势。本文通过在图像识别和目标检测两个任务上对相同神经网络采用不同剪枝方式进行裁剪,实验结果证明了所提出算法的有效性。3.提出了一套完整的目标检测网络压缩方案。首先是将骨干网络中的重复结构进行删减。接下来采用本文提出的知识蒸馏方案让上一步中的网络学习原来骨干网络中的知识。第三步采用本文设计的通道剪枝算法对网络进行迭代剪枝处理。最后采用训练后动态量化进一步压缩目标检测网络模型大小,至此完成了本文提出的目标检测网络压缩流程。通过对比实验说明了该方法的优势。4.在低功耗设备Jetson nano上实现人脸检测网络压缩。通过在Jetson nano平台搭建完整的实验环境,对当前最佳的人脸检测网络Retina Face完成了压缩,验证了本文所提出的目标检测网络压缩方案的有效性。
其他文献
语音识别系统已经成为了人们工作、学习和生活中行之有效的工具。智能手机微信的语音输入辅助、智能家居的声控电视、声控的行车导航系统和自动会议语音转录系统等都是它可以被应用的场景。但语音识别系统仍有不少瑕疵,这使它不能很好的落地和应用到需要的场景中去。变化的噪声类型、低信噪比和说话人种类等声学条件极大地影响了语音识别系统的性能。因此,一个好的语音增强模块可以成为语音识别系统重要的前端。但是,基于映射的语
卷积神经网络近几十年有了很大的进展,性能越来越强劲,应用场景越来越多。但是与此同时,卷积神经网络的结构也变得越来越宽,越来越深,参数量越来越大,这对运行该卷积神经网络的设备的算力和内存资源也提出了要求。这种情况很大程度上阻碍了其实际应用。因此,对神经网络模型进行压缩,使得性能优异的神经网络模型也能在资源有限的条件下使用,这对于深度学习算法的应用意义重大。在本文中,我们提出了两个对卷积神经网络的结构
近年来,伴随着生成对抗网络的进一步发展,我们日常生活中的越来越多现象都可以结合生成对抗网络来进行“智能创造”,比如图像领域中的从语义生成图片、图片风格化、图片特征编辑等创新型工作。本文则是对图片特征编辑这个领域中的人脸老化/年轻化预测的工作进行系统性的探究。在调研了国内外近年来的相关研究课题后我们发现,当前的人脸老化/年轻化预测算法还存在着生成图片清晰度不够、个人身份特征在转换过程中损失较严重、年
Spiking神经网络(SNN)模仿了大脑中神经元通过自适应的突触连接发射脉冲进行信息转换的机制,被誉为第三代神经网络。相比依赖高耗能图形卡进行训练的传统神经网络,由于脉冲(spike)在时间和空间上是稀疏的,Spiking神经网络可以通过低功耗的专用硬件进行实现。Spiking神经网络已被用于图像识别,目标检测和语音识别等领域。如何让Spiking神经网络达到媲美传统神经网络的表现是目前研究的热
随着科技的快速发展,现代技术的不断更新交替,出现了越来越多复杂智能电子设备。但在长期使用智能电子设备的过程中往往伴随着出现一定程度的损耗和故障,所以对电子设备进行故障预测成为了工业运用领域关注的重点和难点,在学术界也对其出现的难题进行了大量的研究。在现阶段中,对于处理时间序列,许多方法都是利用点过程或者传统的时间序列处理方法进行时间预测。这往往需要高质量的数据和提前设定好参数化的模型并设定一定范围
强化学习是机器学习领域的一个重要分支,它通过模拟生命体大脑的学习思维模式来学习行动策略。与传统的学习方法不同,强化学习中的智能体在学习时不被直接告知需要采取哪些行动,而是得到这些行动带来的即时奖励学习一个策略最大化这些奖励。通过“试错”和“延迟奖励”这两种方式,强化学习能够处理很多传统机器学习很难处理的高交互性,决策性问题。深度强化学习在强化学习的基础上,把深度神经网络运用到其中。这可以解决传统强
群体智能灵感来源于生物群体的智能行为,蚁群优化算法和遗传算法是两种典型的群体智能算法。受益于其分布式求解方式,群体智能可由忆阻网络等硬件电路实现并行。忆阻器是一种非易失、可编程的新型电路器件,在物理上具有诸多优良特性。相较于传统存储计算异地的计算模型,忆阻器可实现内存计算模型(存储和计算同地完成),消除内存与计算单元间的传输代价。因此,忆阻网络被应用于深度神经网络和群体智能等算法的并行计算与记忆计
21世纪,随着智能手机、GPU硬件的更新迭代,计算机图形学已广泛地运用在生活和工程中,手机游戏凭借渲染算法获得良好的视觉效果,高级渲染效果甚至可以很好的模拟真人的外观。“智能虚拟人”是三维渲染与人工智能结合的产物,表现结合智能算法,拥有一定自主学习能力于可交互性的虚拟角色,虚拟人的研究可以为探究人类自身的智能提供了参考,同时虚拟人具有一定应用值,可用于智能服务,虚拟主播等。随着三维相关的人工智能技
近些年车联网技术伴随智能汽车的风口进入人们的视野,在5G通信、云计算、人工智能等技术的加持下,车联网技术在几次的产业升级中不断发展,智能汽车也上升到国家战略层面。在研究车联网发展过程中,发现车辆智能终端的云端监控平台和终端安全也是重要的课题,车辆的终端安全关系到道路车辆和设施安全、行人和驾驶员的人身安全,近些年也频繁出现车辆遭遇劫持等问题。论文主要面向车辆终端的软件层面的安全监控,配合云端的安全分
在大数据时代,互联网上产生了大量的不同题材的内容,导致用户不能快速地获取感兴趣的内容,严重影响了用户的使用体验。为了解决这个问题,推荐系统取得了成功的研究与应用。由于用户对项目的评分能反映用户对项目的喜欢程度,所以大量的推荐算法从用户对项目的历史评分数据中提取有价值的信息,据此提供推荐内容。现有推荐算法通常将用户的历史评分数据表示为高维稀疏矩阵,并从高维稀疏矩阵的评分数据提取数值特征,然而这些算法