与传统的浅层线性网络相比,拥有非线性激活函数的深度网络具备更强的函数表征和逼近能力,可为非线性且极端复杂的函数对象学习到一种层次化的有效特征表示。深度学习通过无监督的预训练方法和基于反向传播的参数微调技术解决了梯度弥散和局部极小值问题,使得它拥有了极低的泛化误差,因而被广泛地应用于图像、视觉、文本以及多媒体等不同领域。作为一种无监督的特征学习模型,自编码器常被用来完成深度神经网络的预训练过程,为其参数空间寻找较优初始值,从而避免反向传播时的梯度消失以及非凸问题求解可能陷入的局部极小值问题。然而,针对图像处理与计算机视觉问题,自编码器及其各种改进形式并未对输入数据的统计特性和领域知识,如样本图像的稀疏性,进行充分的考虑而将其引入到深度神经网络的模型设计中,而且自编码器通常仅作为深度模型的预训练方法,丢失了预训练过程中学习到的丰富的不同抽象级别的层次化的特征表示,造成了存储和计算资源的浪费。本文主要研究基于自编码器的稀疏深度模型的研究与应用,通过激励自编码器学习过程的稀疏性,提升自编码器的稀疏度、优化自编码器的结构以及充分利用堆栈稀疏自编码器训练中学习到的层次化特征来提高基于自编码器结构的深度模型的性能。主要的工作内容如下:(1)受卷积神经网络拓扑结构的启发,提出了一种引入稀疏诱导层的新型稀疏自编码器(SparsityAE)。通过激励自编码器模型中的稀疏度,可以学习到更能表征输入图像本质特性、更高效的特征。传统上编码器中稀疏性的产生来自于KL散度惩罚项的引入,此种类型的自编码器使得对于远离激活值的惩罚效果较弱,时常导致欠拟合的问题出现,泛化能力较弱,而稀疏表示理论关于图像的特征表示提供了更具针对性且全面的稀疏激励方法。实验表明,基于稀疏诱导层的新型稀疏自编码(SparsityAE)比传统的基于KL散度惩罚项的稀疏自编码器在图像去噪和分类上取得了更高的性能,且对含噪或降质样本仍保持较高的稳定性和更强的泛化能力。(2)提出了基于稀疏自编码的特征集成学习(BoostingAE)。从深层自编码器的角度来说,使用上述堆栈稀疏诱导自编码器完成预训练时可以获得多个不同抽象级别的稀疏特征。对于集成学习,集成特征学习策略可有效地改善和提升单分类器的准确率和稳定性。综合以上两点,BoostingAE算法使用预训练获得的分层特征来训练多个分类器,并以某种集成学习理论提供的混合规则,对这些分类器的输出结果进行集成来得到最终的图像分类预测。分别在三种不同的数据集(MNIST、CIFAR-10和SVHN)上的实验结果表明,所提出的集成特征学习方法能够显著地提高在图像分类任务上的整体性能。