论文部分内容阅读
卷积神经网络(Convolutional Neural Network,CNN)是深度学习的代表算法之一。卷积神经网络通过卷积运算来提取特征,并通过卷积的权值共享和池化来降低网络参数的数量级,最后通过传统神经网络完成分类等任务。它具有较好的容错性、自学习能力、自适应性,还可以自动提取特征,因而现已被广泛应用于图像识别、目标跟踪等领域。本文对传统的卷积神经网络算法进行了优化,并将改进后的算法应用于图像识别任务,验证了算法的有效性。本文的主要工作如下:1.本论文针对传统卷积神经网络卷积核初始值以及隐藏特征图个数比较难确定的情况,采用非监督预训练和灰度关联分析法对卷积神经网络算法进行优化。首先,通过稀疏自动编码器对输入图像进行无监督预训练,得到一组能够较好得反映原始输入图像特性的滤波器初值集合。其次,为了更好得确定隐藏特征图的个数,引入灰度关联分析法计算出特征图与对应的输出结果之间的关联度,设定阈值,去除关联性较小的特征图数据,使得系统可以自动选择对识别结果影响较大的隐藏特征图,从而对网络结构进行优化,提高系统的识别精度。仿真实验利用全球手写数字MNIST数据集进行训练和测试。实验结果表明,相对于传统的卷积神经网络,优化后的算法识别率和识别速度均有提高。2.池化模型作为卷积神经网络的一个重要环节,它通过数值计算提取出池化域内具有代表性的值,所以它对模型的准确率至关重要。最大池化和平均池化分别取池化域内的最大值和平均值作为结果不是很有代表性。所以,为了进一步提高卷积神经网络模型的准确率,优化模型的学习性能,本论文基于最大池化和平均池化设计出了一种改进池化模型,引入了一个超参数池化因子,使得池化的结果可以根据具体情况发生变化。并在全球手写数字数据集MNIST和CIFAR-10数据集上分别对改进池化模型的有效性进行了验证。通过与常见池化模的对比试验发现,采用改进池化模型的卷积神经网络的学习性能较优。一次迭代情况下,在MNIST和CIFAR-10数据集上,与原始卷积神经网络相比,错误率分别下降了4.28%和2.15%左右。3.随着卷积神经网络深度的增加和结构的完善,模型的性能越来越好。但同时模型所需要的存储空间和预测所需要的时间也大大增加,所以对硬件资源的计算能力更加依赖。对移动端的深度学习识别任务而言,设计出能够仅利用移动端的硬件资源就能够快速有效得完成基于深度学习模型的任务至关重要。Mobilenet算法是一种较新的基于卷积神经网络的轻量型模型。本论文针对深度人脸识别任务在移动端遇到的算法性能不高问题,设计了一种改进的Mobilenet算法。将Mobilenet算法的监督信号Softmax改进为AM-Softmax,通过一个附加余量增大类间的距离提高算法的准确率。通过多次实验,设计出AM-Softmax比较适合Mobilenet算法的附加余量和缩放因子值。训练集和验证集来源于数据集MSCeleb-1M-v1c和数据集Asian-Celeb,并在LFW数据集上对改进Mobilenet算法的有效性进行了验证。通过与初始Mobilenet算法模型的对比实验发现,采用改进Mobilenet算法的性能较优,准确率比使用Softmax的原模型提升了十个百分点。其次,通过增加用于训练的ID数,增加训练样本,将性能进一步提高了四个百分点。