论文部分内容阅读
异常检测是数据挖掘中的重要任务,其基本目标是检测出偏离整体数据特征的数据值,同时随着信息技术的发展,现有的异常检测模型已经无法满足当下的异常检测需求,基于深度学习的异常检测模型逐渐成为了一个新的研究方向。在深度异常检测领域中主要两类模型,一是混合模型,混合模型是将传统的异常检测算法和深度学习降维算法相结合,从而提高检测效率的模型。二是生成模型,生成模型通过训练数据直接对数据进行建模,通过观测样本估计其分布特征,同时结合判别模型进行高维数据的异常检测。针对目前异常检测模型的优缺点,提出了一种混合检测模型,通过结合深度学习降维算法和改进的传统检测模型进行异常检测,本文的主要工作如下:(1).对异常检测相关工作的讨论和分析概述了深度学习在异常检测领域中现阶段的发展情况,总结了在异常检测领域中相关技术以及数据降维的研究现状。提出了基于深度变分降维的混合模型并用于异常检测,并概述了其优势与不足,同时阐明了研究方向。(2).基于双向邻居修正的局部异常因子算法提出基于双向邻居修正的局部异常因子算法,利用双向邻居搜索算法选取较优参数用于计算异常值,结合所提剪枝算法减少了邻域搜索时间和不必要的异常值计算;同时综合使用最近邻居和反向最近邻居,引入基于双向邻居的修正因子,并利用反向邻居进一步提高检测精度。最后在合成数据集和UCI数据集的实验评估中,该算法在参数选取和时间效率方面相较于其他模型有更好的表现。(3).基于深度变分降维的异常检测模型首先,概述了自编码器等相关生成模型的原理及优缺点,阐述了变分自编码器在数据降维领域中的应用。其次,结合充分降维的思想与变分自编码器,提出了一种深度变分降维模型,结合双向邻域算法形成一个混合模型。最后在MNIST和CIFAR-10等数据集中进行了检测性能对比实验,结果表明,所提模型相较于其它混合模型和生成模型更有优势。最后对论文进行总结与展望。