论文部分内容阅读
随着无线物联网监控设备的广泛部署,监控平台获得的数据量激增,达到了前所未有的规模。数据的自动化异常检测成为监控系统发展的一个重要方向。水资源监控能力目前受到了社会各界的关注,对于日常生活中所产生的海量的用水数据,通过机器学习的方式自动化的对异常数据进行监测,是实现水资源智能监控的重要手段。本文根据用水数据连续性和随机性的特点,以及对于异常监测实时性和高准确率的要求,展开了用水异常监测技术的研究,主要工作内容包括:(1)研究了孤立森林(Isolate Forest,iForest)算法监测用水异常的原理,并分析了具体场景下iForest算法在训练阶段和检测阶段的不足。(2)提出了一种改进的W-iForest(基于特征权重的iForest)算法。改进的W-iForest算法主要针对传统的iForest算法中iTree(孤立二叉树)的训练和异常得分的计算进行了优化。传统的iTree在训练时忽略了数据特征对数据异常程度的影响,W-iForest算法在W-iTree训练时通过为数据的每个特征赋予不同的权重,根据权重来对特征进行选取,进而划分数据集完成W-iTree的训练。改进的W-iForest算法相比于传统的iForest算法在计算异常得分时考虑了特征权重对于路径长度的影响,权重越大,所代表的路径长度越小,计算出的结果更加准确。本文使用W-iForest算法对四组数据集分别进行测试,通过与传统的iForest算法对比,改进后的算法准确率和AUC值都有一定的提高,同时降低了漏报率和误报率,验证了本文算法的有效性和稳定性,并且对算法的实时性进行测试,在本文的数据集下可以达到毫秒级别的异常识别。(3)实现了一个智能监测用水异常的自动抄表系统。对系统进行需求分析并给出解决方案,设计了系统的总体架构。实现了终端数据采集、实时监测预警、水表统一管理、终端设备安装运维管理、系统管理等模块。