异常数据挖掘算法研究与应用

来源 :江南大学 | 被引量 : 0次 | 上传用户:huanglien
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异常数据是指在数据集中与大部分数据不一致或者偏离正常行为模式的数据,它往往代表一种偏差或者新模式的开始,因此对异常数据的识别会比正常数据更有价值。异常数据挖掘作为数据挖掘的重要分支之一,已广泛应用于故障诊断、入侵检测、欺诈检测、新颖文本挖掘及图像处理等领域。迄今为止,研究人员已提出了许多不同的异常数据挖掘算法,这些算法能够有效地发现数据集中的异常数据,但在实际应用中,面对复杂的应用环境这些算法往往会不同程度地存在计算时间效率低下、需要过多的人工干预、以及参数难以选择的缺点,本文针对已有异常数据挖掘算法在实际应用中的不足,从不同角度研究了这些算法并提出了改进。论文的主要工作如下:1.针对LOF算法在动态增量数据库环境中,进行二次异常数据挖掘,需要重新计算所有数据对象的局部异常因子,计算时间较长的缺点,提出了一种基于聚类和快速计算的异常数据挖掘算法。该算法利用DBSCAN算法在原数据集聚类的基础上仅对异常簇中的数据对象计算局部异常因子,当新增数据对象到达时,为避免调用DBSCAN算法重新聚类提出了一种改进的聚类算法,并在该算法的基础上,判断聚类簇中的每个数据对象是否是异常数据对象;最后仅对新增的异常数据对象和原异常簇中受影响的数据对象重新计算局部异常因子。实验结果表明,该方法在动态增量数据库环境下,不仅比LOF与lncLOF算法计算时间效率高,而且提高了挖掘异常数据的精度。2.聚类方法作为一种常用的异常数据挖掘方法已应用于入侵检测中,其中k-means算法作为一种经典的划分算法在入侵检测中得到了广泛地应用,但是该算法要事先指定聚类数目以及易陷入局部最优,为了避免上述不足,本文提出了一种自动确定聚类数的算法。该算法首先通过多次执行样本抽样技术,用最大最小距离算法产生一系列较优的聚类中心和聚类数目,作为差分进化算法的初始种群,然后在种群进化过程中以最优种群个体为指引,动态调整个体聚类中心和聚类数目,并且利用差分进化算法的全局寻优能力和k-means算法的局部搜索能力,对聚类中心和聚类数目同时进行优化,从而得到最佳的聚类划分和聚类数目。在该算法的基础上,还提出了一种异常数据检测方法,通过对KDD CUP1999网络入侵数据集的仿真实验结果表明,该算法具有较好的入侵检测效果,能够有效地检测出网络中的入侵数据。3.变压器异常故障诊断作为异常数据挖掘的一类实际应用,其关键是能够从变压器油中溶解气体数据中发现异常数据,并能识别这些异常数据的类型,支持向量机作为一种分类方法已用于变压器异常故障诊断中,但是该方法对参数选择比较敏感,为了获取最优分类参数,本文提出将萤火虫算法来优化支持向量机的参数,并建立了基于二叉树的变压器异常故障诊断多级分类模型,通过仿真实验表明该方法具有较好的故障诊断效果,优于传统的国际IEC三比值法和神经网络的方法。
其他文献
语文教师要教会学生去积累去感悟,真正能在交流中最准确地说出心中所想说的话。通过营造良好环境,培养兴趣和情感;强化熟读背诵,积累语言材料;扩大课外阅读,丰富语言信息;加
写作是“实践性”的语文,是具有应用意义和表达能力的书面语文,是记录思想、表达情感、抒发内心的文字表达方式。写作和语文一样,都需要生活观察能力,只是语文“观察”是为了理解
东汉·杨雄有言:"书,乃心画也。"即是表达的做字之说,当为心意使然也。通过对中国儒学的阐释、中庸之道的浅析,以及对读书笔记的整理、体悟,简述中庸之道对书法美学、书道的
初中英语教学,在九年制义务教育中尤为重要,特别是它连接小学英语与高中英语教育的纽带。伴随计算机应用技术发展,传统的教育模式,己不能完全适应培养全面发展和具有高素质人才的
目的建立液相色谱法测定痛舒胶囊中三七皂苷R。及人参皂苷Rg,、Rb,含量。方法采用WatresSymmetryRPl8(4.6mm×250mm,5μm)色谱柱,乙腈一水为流动相,梯度洗脱,体积流量1.0mL·mi
本文对现阶段我国数字图书馆建设中存在的问题进行了探讨,并由此提出了加快我国数字图书馆建设的一些对策建议。
关于“国退民进”和“国进民退”的争论一直在持续,短时期内,这将是一场没有结论的辩论赛。民间投资的发展,在推动各种经济体制公平竞争、共同发展,调整并优化产业结构的布局
运算复杂度高是基于压缩感知(CS)的雷达成像方法走向实用亟待克服的难题。该文利用雷达目标散射率分布的稀疏性,研究了基于改进正交匹配追踪(OMP)算法的2维联合压缩成像方法
湖南省汨罗市再生资源集散市场是全国第三大和中南地区第一大再生资源集散市场。为加速再生资源行业发展,2003年汨罗市政府主动对接开发性金融模式。三年多来,在国家开发银行的