深度网络的半停加速算法研究及实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:zhifeiji1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近来,模拟生物神经进行多层次网络感知的深度学习被广泛应用于图像内容理解并取得了重大突破。但是深度学习模型对计算资源的过度依赖极大的限制了其应用。提高深度学习模型的预测效率已成为了一个迫切需要解决的问题。目前主流的模型加速算法包括模型参数量化算法以及参数稀疏化算法,这两类算法虽然能够有效地较少参数量,但是对模型预测速度的提升十分有限。针对这个问题,本文提出了一种样本自适应的深度网络加速及训练算法,并在实际应用中得到验证。具体的研究成果如下:  1.提出了一个样本自适应的加速算法,算法引入了一种半停机制,该机制可以自动将经过网络的样本按照“简单”,“复杂”进行区分。算法通过在网络模型中添加半停模块,控制数据在网络中的传输,使得不同样本在同一个网络模型中可能会经过不同的深度。“简单”样本经过浅层网络,提高预测速度,“复杂”样本经过深层网络,保证预测精度。针对半停机制引起传统反向参数更新策略失效的问题,本文针对算法会根据样本自动选择网络深度的特点,提出了一个全新的参数更新策略。  2.由于目前主流深度学习框架无法满足本文提出的参数更新策略需求。所以根据实际应用需求,本文借鉴主流深度学习框架的设计思路,实现了一个轻量级的深度学习框架,该框架具有代码体积小、无第三方依赖等特点。  3.结合色情数据检测应用,本文提出了一个高效的网络模型——HSNet-20。在保证准确率的前提下,HSNet-20通过使用本文提出的加速算法,使得其对数据的处理效率提升为原来的两倍。
其他文献
第二层隧道协议(Layer 2 Tunneling Protocol)作为借用公用数据网建立公用隧道在远程用户之间提供对第二层协议(特别是使用极广的点到点协议(PPP))进行中继,提供实现远程专用
该论文首先分析了国内外全文检索技术的最新发展和应用于远程教育的答疑系统的现状,有针对性地对全文检索引擎进行研究和改造.考虑到多种应用环境下中英文文本为主,多种国家
近年来,随着计算机网络和无线通信技术的发展,无线Ad hoc网络备受瞩目。尤其是在Internet上已经出现了丰富的实时业务类型(如音频、视频信息业务等)的今天,无线Ad hoc网络中
该文综合叙述了已经存在的使用基于语言的技术解决移动代码的安全问题的众多研究,详细描述了携带证明的代码(PCC)和类型化汇编语言(TAL)两种方法.已经展开的研究所面向的安全
该文是参加"十五"863计划项目《密码算法标准研究及其关键芯片集成技术》和国家商用密码分组算法、HASH算法标准研制项目的过程中,对密码专用芯片的设计理论和技术进行了研究
本硕士论文致力于研制一套基于RS232和Modbus Plus网络的天然气计量管理与远程监测系统。该系统定位于矿区与配气站的应用,实现对各配气站的数据采集、计量、管理及和管理中心
在现有的计算机系统结构中,要实现跨节点的数据存储操作,数据往往需要先后经过本地网卡、远程网卡、远程内存才能到达远程存储设备。这一过程通常还需要远程节点操作系统和应用
学位
近年来,软件复用作为一种新技术之所以越来越引起人们的重视,是因为人们认识到要想提高软件的生产率,解决软件危机问题,软件复用是一个重要途径。但软件复用的潜力还远远没有发挥
本文是结合新一代证券网上集中交易系统这个项目完成的,目前国内各大券商都在瞄准网上集中交易这一迅速发展的业务领域,其业务系统正在开始从现有的以营业部为中心的分散系统向