随着机器学习的迅速发展,卷积神经网络（convolutional neural network,CNN）作为最受欢迎的算法之一,在图像处理、语音识别、数据挖掘等等众多领域得到了广泛的应用。近年来,人工智能物联网（Artificial Intelligence＆Internet of Things,AIo T）的迅速崛起对边缘设备的实时性和智能性提出了越来越高的要求,促使卷积神经网络算法硬件化成为了一种必然的趋势。本文在深入理解卷积神经网络的推断过程的基础上,从面向FPGA硬件实现的角度,提出了一个高效的CNN加速器。出于提高计算效率,减少硬件资源占用的目的,本文在设计的过程中使用了多种优化手段,主要包括浮点数的定点化、流水线机制、并行计算技术和针对稀疏数据的存储模式,称为掩码存储。首先,浮点数的定点化在不损失分类准确率的前提下,确定了CNN加速器中数据的最小位宽。其次,流水线机制的应用不仅保证了数据流的持续,而且使得各个硬件模块的缓存区只需存储极其有限的数据。再次,为了提高卷积计算的效率,并行计算技术被应用在计算密度最大的卷积层中。最后,本文紧密结合卷积神经网络中数据普遍具有稀疏性的特点,设计了掩码存储模式,实现了只对有效数据进行存储,从而避免了零数据参与到计算过程之中。本文基于LeNet、AlexNet、NIN、VGG16与Goog LeNet网络模型,在Xilinx Zynq-7000 So C ZC706开发板上进行了CNN加速器性能的验证与分析。实验数据表明,浮点数的定点化、流水线机制、并行计算技术与掩码存储模式等优化手段的应用,使得CNN加速器不仅没有分类准确率的损失,而且在硬件资源的节约与推断效率的提升上均具有出色的表现。具体来说,LeNet、AlexNet、NIN、VGG16与Goog LeNet模型应用流水线机制之后的平均加速比达到了3.3,且中间数据缓存的容量平均减少了20.4倍。在本实验的并行化配置下,LeNet的C1卷积层相比于串行计算达到了28.8的加速比。掩码存储模式的应用使得AlexNet与Goog LeNet卷积层特征图缓存的平均容量仅为普通存储模式下的66%与55%,同时其平均运行效率分别达到了1.8和2.2的加速比。