论文部分内容阅读
近来,模拟生物神经进行多层次网络感知的深度学习被广泛应用于图像内容理解并取得了重大突破。但是深度学习模型对计算资源的过度依赖极大的限制了其应用。提高深度学习模型的预测效率已成为了一个迫切需要解决的问题。目前主流的模型加速算法包括模型参数量化算法以及参数稀疏化算法,这两类算法虽然能够有效地较少参数量,但是对模型预测速度的提升十分有限。针对这个问题,本文提出了一种样本自适应的深度网络加速及训练算法,并在实际应用中得到验证。具体的研究成果如下: 1.提出了一个样本自适应的加速算法,算法引入了一种半停机制,该机制可以自动将经过网络的样本按照“简单”,“复杂”进行区分。算法通过在网络模型中添加半停模块,控制数据在网络中的传输,使得不同样本在同一个网络模型中可能会经过不同的深度。“简单”样本经过浅层网络,提高预测速度,“复杂”样本经过深层网络,保证预测精度。针对半停机制引起传统反向参数更新策略失效的问题,本文针对算法会根据样本自动选择网络深度的特点,提出了一个全新的参数更新策略。 2.由于目前主流深度学习框架无法满足本文提出的参数更新策略需求。所以根据实际应用需求,本文借鉴主流深度学习框架的设计思路,实现了一个轻量级的深度学习框架,该框架具有代码体积小、无第三方依赖等特点。 3.结合色情数据检测应用,本文提出了一个高效的网络模型——HSNet-20。在保证准确率的前提下,HSNet-20通过使用本文提出的加速算法,使得其对数据的处理效率提升为原来的两倍。