【摘 要】
：
随着深度学习任务越来越复杂,相应的卷积神经网络（Convolutional Neural Network,CNN）模型也变得越来越臃肿,这对嵌入式硬件上的实时性造成了挑战。通过减少卷积神经网络的参数从而缩小模型的方法通常被称为网络压缩。近几年中,剪枝、量化和编码等方法被用于研究,以确保神经网络变得轻量级。剪枝和编码这两种压缩方法虽然可以大幅降低网络参数量,但是不能加快神经网络的计算速度。而量化方法
论文部分内容阅读
随着深度学习任务越来越复杂,相应的卷积神经网络（Convolutional Neural Network,CNN）模型也变得越来越臃肿,这对嵌入式硬件上的实时性造成了挑战。通过减少卷积神经网络的参数从而缩小模型的方法通常被称为网络压缩。近几年中,剪枝、量化和编码等方法被用于研究,以确保神经网络变得轻量级。剪枝和编码这两种压缩方法虽然可以大幅降低网络参数量,但是不能加快神经网络的计算速度。而量化方法既能加速网络计算又能减少参数量,这种特性为FPGA硬件实现提供了良好的载体。量化方法核心需要解决的问题有两个:一是处理量化神经网络（Quantized Neural Network,QNN）训练过程中梯度消失的问题;二是尽可能达到原始卷积神经网络的性能。为了解决这些问题,本论文提出了使用估计器的方法来训练量化神经网络的方法,在AlexNet和ResNet上实现了较好的性能表现,并使用Xilinx ZCU102 FPGA实现了该量化神经网络的前向计算过程,取得了较好的加速效果。本文主要的创新点如下:1.提出了一种量化网络训练的方法。通过估计梯度的期望,从而避免训练量化网络的过程中,梯度消失导致反向传播不能进行的问题。本文从概率统计的角度,重新解算梯度,从而发现量化网络梯度的期望并不为零,即在训练过程中损失函数可以像全精度卷积网络一样下降,直到收敛为止。这为量化网络的方法提供了理论基础。2.提出了一种量化网络的FPGA实现结构。一方面,通过量化后的参数存储和交互来降低FPGA内存的负担。另一方面,根据量化后权值的特殊性,可以将卷积计算的乘累加运算（MAC）用异或非运算（XNOR）或移位操作（SHIFT）来替换,从而节约计算资源和提高计算并行度。在此基础上,本文对网络的运算过程和网络规模进行了优化,重新设计了卷积网络各个模块的电路结构,这种网络结构也更适合于在以FPGA为核心的嵌入式平台上进行实现。
其他文献
物联网“Internet of Things（IoT）”是引领全球电子信息产业发展的新引擎,在过去的几年里,物联网及物联网传感器的市场容量及贸易规模一直保持着快速增长。物联网传感器由于其应用场景和特殊结构对制造工艺提出了新的要求,比如MEMS加速度和陀螺仪惯性传感器由于其内部包含可移动悬臂梁质量块,这些质量块微结构具有高的表面积/体积比,表面作用力对这些微结构的影响会显著增加,微结构表面作用力主要
核桃（Juglans regia L.）和枣（Ziziphus jujuba Mill.）是新疆特色林果产业规模最大的两个树种。作为药食同源的果品,核桃仁和枣果实具有重要的食用价值和营养保健功能,是生物活性化合物的重要来源。近年来,虽然有关核桃和枣的功能性成分-核桃油脂和枣多酚的组成、含量及其健康益处被广泛研究,但涉及不同品种核桃油脂积累和枣原花青素合成的分子机制却鲜有报道。因此,本研究以不同发育
随着互联网、物联网以及人工智能技术的普及,工业领域对于个性化定制产品和服务有着迫切的需求,论文研发了个性化定制茶叶罐生产线总控系统,对其订单任务的调度问题进行了研究。首先,综合分析了研究背景、意义及课题来源,指出了个性化定制将成为未来企业生产制造的主流方向,并对生产线总控系统和生产调度问题研究现状进行简要的介绍。针对个性化定制茶叶罐生产线的实际需求,确定了论文的研究课题,并提出了主要研究内容和组织
一个合理的项目管理方式是中国船舶制造企业进行项目计划、管理、控制、反馈、更新的重要保障,尤其在船市不景气、订单剧减、船价偏低的买方市场下,卓越高效的船舶建造管理也是船舶制造企业提高核心竞争力的重要手段之一。本篇论文以采用现代造船模式的ZZ船厂为研究背景,以该船厂的5000DWT多用途系列船1号船-4号船项目管理中存在的每船进度管理和建造周期问题为主要研究和分析对象,以项目组织构架和权责分配问题研究
随着“中国制造2025”计划的推进,我国工业制造行业的智能化程度不断提升,但依然有部分环节的关键技术有待研究。纺织品质量检测问题一直是纺织行业在实现自动化生产过程中的薄弱环节,大量的质量检测工作仍依赖人力,但依赖人力的质量检测环节成本较高,且质量状况不稳定。根据以上问题,本文旨在设计基于深度学习技术的纺织物质量图像检测系统,主要研究了以下几点内容:1.设计了适用于工业现场的图像采集系统,并对纺织物
随着中国经济高质量发展需求的不断增加和“智能制造2025”战略的持续推进,传统制造业面临越来越大的转型升级压力。制造部门越来越多的工作由工业机器人完成。但是,目前实际生产应用中,工业机器人通常只能通过示教编程的方式按照事先设置好的路径执行规定的动作,而对周围环境缺乏感知能力和应变能力。尽管2D视觉系统在一定程度上提高了工业机器人的感知能力,但仍然无法满足智能制造中常见的对三维物体的抓取和搬运等需要
压力传感器作为最早的MEMS传感器产品之一,问世距今已经发展了约70年。随着微机电系统产业的高速发展,压力传感器正向着智能化、小型化与集成化的方向发展。压阻式压力传感器由于其结构简单、制造成本低、便于集成与测量的特点成为使用最广泛的压力传感器。目前,业内常规的压阻式压力传感器采用体硅工艺的制造方法,先对硅衬底正面进行掺杂形成压阻,然后利用碱性溶液对衬底背面进行各向异性的硅杯腐蚀,最后利用键合技术形
本刊讯中国移动四川公司、大唐公司、清华研究院一起携手首次将5G技术应用于水力发电领域,融合运用人工智能、大数据等技术,推出5G水下机器人和5G无人机智能巡检项目,助力水电站发展的智慧化管理水平提升和行业智能化演进。浩浩荡荡的嘉陵江水源于秦岭北麓,是长江上游的重要支流。亭子口水利枢纽是国家完善长江防洪体系六大重点工程之一,是嘉陵江干流唯一的控制性骨干工程。据大唐亭子口公司党委书记、副总经理李阳
随着深度学习领域的快速发展,人脸识别的研究和应用在这个大数据时代受到越来越多的重视。在安防监控、人机交互等方面,相关的应用也越来越多。但是目前基于深度网络的系统都会因为运算量大,而选择将深度人脸模型的推理工作放在服务器端完成。但是这种联网工作方式受网络影响很大,往往工作不稳定。另外,现在大多数的人脸识别系统都没有部署活体检测算法,或者是使用很简单的活体检测算法来完成活体检测,但是这种方式很容易被非
文成山药是浙江省温州市文成县特有的优良地方品种,糯性较强,具有较高的研究开发价值。本文从山药淀粉的组成与特性,山药生长发育过程的品质变化的动态规律,不同栽培模式的山药品质比较和蛋白质与淀粉交联特性等方面,系统研究文成山药品质和淀粉生化特性。主要研究结果如下:1.比较了文成山药、铁棍山药、怀山药淀粉分子结构和理化特性,发现文成山药淀粉具有最高的支链淀粉占比和较大的重均分子量、数均分子量和粒径,同时具