循环神经网络压缩方法研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:fenghuirong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为深度学习主流算法之一,循环神经网络(Recurrent Neural Network,RNN)对处理时序信息具有更敏感更出色的能力。因此,循环神经网络被广泛使用于电信、电力、人机交互等许多传统以及新兴智能领域。然而,在许多应用场景中,资源有限的终端设备难以应用循环神经网络。这主要的原因在于神经网络结构具有较高的计算复杂度,并且需要大量的计算资源以及存储资源。为了解决此问题,研究者提出了许多合理方式来降低神经网络的计算量和存储需求,其中网络压缩方案较为突出。网络压缩并不是内容无损压缩,其主要目的是在保证网络性能不下降的前提下舍弃部分不重要的参数。尽管循环神经网络的压缩任务受到许多研究者的关注,但是仍然还有许多问题没有得到很好的解决。本文罗列出2个关于压缩RNNs的技术方案目前所存在的问题:1)在极度稀疏率情况下,如何保证循环神经网络的性能以及降低模型复杂度的问题;2)如何优化“剪枝-重训练”周期,以设计更高效的循环神经网络剪枝算法的问题。针对这2个问题,本文展开了具体的研究,并得到以下几点贡献:(1)本文提出了一种能够在高度稀疏率情况下保证长短期记忆网络(Long Short-Term Memory,LSTM)模型性能的网络修剪方法,并提出了一种具有共享权值的稀疏连接LSTM模型,即SCLSTM。与已有方法不同,该方法基于神经连接的大小动态设计了每一轮剪枝的阈值,并且引入了用于降低内存消耗的权值共享策略,从而极大地减少了LSTM的资源需求以及计算成本。实验结果表明,只含有0.88%神经连接的SCLSTM可以获得与密集连接LSTM相同的预测能力。(2)本文提出了一种基于神经连接灵敏度指标的单次修剪的网络压缩算法,并提出了一种进行单次修剪的稀疏连接的门控循环单元(Gated Recurrent Unit,GRU)模型,即SCGRU。该方法优化了现有的迭代剪枝架构,剔除了剪枝架构中多余的“剪枝-重训练”周期,并且设计的剪枝算法根据每个神经连接在反向传播中对目标函数的重要性进行精准取舍,从而只需要单次网络修剪便可以完成整个剪枝过程。特别是,SCGRU模型能够在具有更少的参数连接情况下,模型性能效果高于已有剪枝方案的性能效果。
其他文献
异常是指各种不符合估计或违反常规条件的数据或行为,广泛存在于如信用卡消费中欺诈行为、数据库中数据泄露、网络入侵以及工业控制系统等各应用领域中。异常往往比正常所携带的信息更多也更为重要,比如设备运行异常则意味着系统可能存在故障或被人为恶意攻击。因此,快速准确地检测出系统异常,对保障信息基础设施的安全,有着重要的现实意义。针对当前无监督异常检测算法对于不同类型的高维数据检测效果差的问题,本文在通过深入
学位
学位
智能交通系统(Intelligent Transportation System,简称ITS)作为智慧城市建设的重要一环,将多种高科技技术融入到交通诱导等领域中,例如,人工智能技术、传感器技术等。加强车联网(Internet of Vehicles,简称Io V)与用户之间的联系,从而形成安全、高效、节能的综合运输体系。车辆检测,跟踪及预测是智慧交通系统中一个重要研究热点,然而在实际应用的环境中,
近年来,随着电子计算机系统的不断发展,在处理一些大数据时,出现了能耗高、并行处理能力不足以及计算率低的问题。而三值光学计算机具有能耗低、巨位数可并行运算以及可按位重构的特点,这些特点使得它在处理大规模数据的计算问题时具有一定的优势。基于三值光学计算机具有以上的这些优势,本文将研究采用三值光学计算机求解大规模的最短路径问题。本文的研究内容包括:利用三值光学计算机数据位易扩展和巨位数并行的特点提出全并
人群流量的准确预测对于政府部门有效且合理的管理交通资源、提高群众出行体验、改善道路交通安全环境等来说具有重要意义。然而,由于人群流量数据具有特殊性,它是一种复杂的时空数据,建立人群流量预测模型时必须同时考虑其时间依赖关系和空间依赖关系。此外,人群流量还受事件、天气等外部因素的影响。因此,想要准确的预测人群流量绝非易事。传统人群流量预测方法的研究对象通常是单一区域的人群流动模式,而这些方法只考虑人群
学位
学位
随着互联网技术和社交网络的快速发展,各种网络平台生成了大量用户针对不同领域的评论文本。这些文本包含着丰富的情感倾向,从中可以发掘互联网用户或消费者对于该事物态度,这些信息无论对个人用户、商家或国家监管部门都有重大意义。在大数据时代,随着技术和硬件设施的不断升级,各种平台的评论文本数据量都以爆炸性增长,只依赖统计学方法已经无法满足日益增长的评论文本情感分析需求,所以如何通过人工智能技术精准高效挖掘评
铁路运输作为一种高效的运输方式,在带动经济发展的同时,给人们的生活带来了极大的便利。相关统计数据显示,在铁路运营过程中,钢轨表面伤损恶化造成的列车运行事故占比较高。因此,对钢轨表面伤损进行准确的检测,具有十分重要的实际应用价值及研究意义。钢轨表面伤损的检测方法可以划分为物理检测方法、基于机器视觉的检测方法两种。其中,物理检测方法操作困难且需要大量人为干预,检测结果具有一定主观性,无法保持检测精度的