高维数据流异常检测算法的研究与应用

来源 :苏州大学 | 被引量 : 2次 | 上传用户:a63421118
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异常检测旨在从数据集中快速有效识别异常点,在金融数据分析、网络安全等领域被广泛应用。而以物联网数据为代表的高维数据流具有海量、异构有噪声,实时性要求高等特性,这使得传统的数据分析算法检测出异常点的效果不明显,而且时间复杂度高,具有潜在的局限性。高维数据流的异常检测面临着一定的挑战。针对高维数据流的特点和应用背景,本文分别提出了一种高效的实时数据异常检测算法和一种改进的趋势分析算法。经仿真实验和以电梯传感器数据流作为检测对象的测试分析,算法均表现出了较高的可靠性。主要的工作内容如下:  (1)基于高维数据流的特点和已有角度方差算法时间复杂度高等问题,提出改进的基于角度方差的异常检测算法HDSOD。结合信息熵理论对高维数据流保留价值信息,达到降维的目的;采用网格划分思想,构建了最佳数据集网格和最近数据集网格的小规模数据流计算集,以此计算最新数据点的角度方差异常因子,并通过实时更新网格的机制保证数据检测精度。  (2)提出了一种改进的数据流趋势分析算法。根据实际的应用需求,基于数据流变化的剧烈程度,选择使用不同的算法对其进行趋势分析,从而提高了数据流趋势分析的精度,为所监控数据对象提供故障预警和重要的决策支持。  (3)以电梯异常检测和故障预警为应用目标,将异常检测算法和改进的趋势分析算法用于分析电梯传感器数据流。仿真实验结果表明,异常检测算法能有效对监控对象提供实时异常检测和故障预警,本文提出算法更适用于实时性要求高的物联网高维数据流的异常检测。
其他文献
市政道路PPP项目提前终止补偿金额的确定是项目发生提前终止进行回购补偿的核心环节之一,其本质是为了在对公私双方公平合理的情况下,保证私有资本获得其投资的应得收益。本文
期刊
目的:探讨表皮生长因子受体(epidermal growth factor receptor,EGFR)突变与非小细胞肺癌(non-small cell lung cancer,NSCLC)脑转移的相关性。方法:收集复旦大学附属华山医
未来,网约车多头竞争的局势还将持续下去,而B2C、C2C模式可能走向融合发展之路。  截至2016年12月30日,全国共有140多个城市发布了《网约车经营服务管理办法(征求意见稿)》,北京、上海等地对户口、车型等有特殊要求引发争议。  对此,国家发改委城市交通研究室主任程世东表示,实施细则中一些限制性条款与产业本身没有太大关系,更多是基于当地人口政策要求而制定的。  但客观而言,政策已给整个网约车