随着神经网络技术的迅速发展,神经网络被设计的规模越来越大,层数越来越多,结构越来越复杂,这使得神经网络的参数量和计算量都急剧增加。为了满足人们应用高性能神经网络算法的需求,如何在移动设备或嵌入式设备等便携设备中部署神经网络成为一个新的难题。由于这类设备计算能力和存储能力有限,无法运行复杂的神经网络算法,所以,如何将复杂神经网络的规模和计算量进行缩减是神经网络部署所必须面对的一个问题。本论文主要研究了神经网络在移动设备等计算能力有限的设备上的实现与优化。为了能够压缩模型所占存储空间的大小以及减少模型实现所需要的计算量,本论文设计了一种基于信息瓶颈理论的神经网络混合压缩方案。本文主要研究内容如下:1)提出了一种基于信息瓶颈理论的参数重要性衡量方法。为了更好寻找出不重要的参数,该方法借助信息瓶颈理论,通过引入贝叶斯深度学习的变分推断方法,推导出了基于信息瓶颈理论的损失函数,将此损失函数作为一个额外的限制项添加到原本神经网络的损失函数中进而找出神经网络中的冗余信息,并通过训练迭代将冗余信息有方向的聚集到一部分神经元中,最终将这部分冗余的神经元删去达到减少参数量的目的。实验表明,本文提出的基于信息瓶颈理论的剪枝方法与其他相似方法相比,能够很好的删除神经网络中的相邻隐藏层之间的冗余信息,减少模型的参数量和计算量,并且可以获得更高的准确率。2)将剪枝与量化方法结合进一步压缩。有研究表明,高精度的参数对神经网络的高性能不是必须的。由于剪枝方法仅对神经网络参数量的多少进行缩减,没有降低权重参数的精度,故本文的压缩方案就这一点进行改进,结合两者的优点,将原本神经网络参数的数据类型从32bit浮点型降至2bit定点型,从而降低参数所需要的存储空间以便神经网络能够更容易存储在存储空间受限的设备中。实验表明,剪枝与量化方法结合后,可以在模型性能损失很小的情况下使得模型所需存储空间大幅减少。