基于分解与重构的物联网时序数据异常检测

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:shtour
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近些年通信,计算和嵌入式系统技术的飞速发展,物联网系统已广泛部署在不同类型的应用场景中,例如智能家居,智能医疗,智能交通,智慧能源以及工业自动化等。随着智能电网的不断建设,TSDB数据库中收集到的负荷数据也成指数倍增加,如何从这些数据中挖掘出用电行为和状态,并对可能存在的用电异常进行检测,对于保障电网的安全稳定运行具有重要意义。因此,本文基于分解与重构的方法从一个真实的多维物联网用电数据集中挖掘电力负荷特点从而进行异常检测,在数据重构前添加了STL分解过程,降低了异常点对检测结果的影响。并对传统的重构模型进行修改,融入了GRU模型以捕捉时序信息,使模型更适用于时序数据。具体步骤包括以下几个部分:首先,针对收集到的小样本时序数据,我们从时域和幅域的角度使用切片、时域扭曲、随机采样、抖动、缩放、幅度扭曲六种数据扩充手段将原始数据集切分并扩充至15万余条数据,极大的扩充了数据量,并根据实际数据含义及存在的问题对原始数据进行清洗,从而为后续的深度学习模型打下了可靠的数据基础。其次,在数据预处理部分,我们针对数据不足、电表反接、数据错误以及数据不可信四种情况对数据进行相应修正,并对分情况对缺失值进行填补,进一步提升了数据的可信度。紧接着,在输入重构模型之前,我们添加了一步数据分解过程。分解过程使用了标准STL分解以及鲁棒性STL分解方法,并分别对点异常、上下文异常以及集体异常三种异常类型的序列分解结果进行可视化,对两种分解方法进行杜比的同时也对不同类型的异常结果进行分析。最后,将此前两种分解得到的余项序列分别输入重构模型进行异常检测。我们针对传统的变分自编码器加以改进,融入GRU神经网络以融入时序信息,并利用改进后的KLVAE模型对数据进行重构;其后,我们再利用Fisher散度衡量替换K-L散度,并利用改进后的FVAE方法对数据进行重构。针对重构模型输出的异常分数,我们利用五折交叉验证的方法,选择训练集上表现最优的阈值对异常分数进行分类。实验结果证明了在本文所使用的物联网多维时序数据上,本文创新的组合模型(R-STL+FVAE模型)不论是在模型精度还是稳定性方面,表现均优于此前的Donut以及STL-VAE为代表的传统模型。
其他文献
随着全球大数据浪潮的席卷,依托于互联网的广告一直在蓬勃发展,速度迅猛,诸如Google、Facebook、字节跳动等公司已将广告事业作为其支撑。本文的研究领域为互联网游戏视频广告,这里的广告主为游戏公司,传播媒介为Google、Facebook、Tik Tok的视频投放渠道,产品为游戏。本文处理了游戏公司2020年7月到10月的视频广告素材内容数据与和视频广告素材效果数据并将两块数据关联,获得了拥
学位
新唯物主义是新近西方涌现的关于物的存在的反思的思潮。其中的代表人物包括思辨实在论的甘丹·梅亚苏、格拉厄姆·哈曼,生命唯物主义的珍妮·本内特、行动实在论的凯伦·巴拉德,以及操演性唯物主义的托马斯·内尔。从马克思的历史唯物主义的物的理解出发,反思这一批新唯物主义的理论价值和历史局限,认为新唯物主义并没有真正摆脱马克思曾经批判过的感性直观形式来思考物的形而上学路径。而真正历史唯物主义的方法,需要在具体的
期刊
微博作为当下非常热门的网络社交平台,其中覆盖的讨论话题非常广泛,从时政新闻、医疗、娱乐到学术方面,参与话题的民众也包含了各个年龄层,网民可以对自己关注的话题进行评论。这也就导致了微博中包含大量的文本信息,通过对微博的评论文本进行情感分析,在产品方方面,产品方可以了解民众对于产品或者策划活动的态度,对此进行改进;在政府方面,政府可以了解民众对网络事件的态度以及发酵情况,从而更好的引导社会舆论。因此,
学位
近年来随着我国经济稳步增长,带来的是各个领域的全方面发展,其中金融市场也不断完善,因此在日常消费和储蓄之外,家庭和个人开始将眼光投向金融投资工具,想要通过分配财富资源以增加收益和价值,金融研究从原有的传统金融拓展到另一种新的独立的方向,家庭金融作为微观研究形式成为众多学者探究的课题。在这一过程中,居民的可支配收入和之前相比有了明显的增长,人们除了日常所需之外有另外的财产可以根据不同的需求进行相应的
学位
过去文献中,学者们直接使用股票层面数据去训练强化学习智能体(agent)。但是由于市场环境是高度复杂、非线性的,智能体无法从高维股票中找到高效的交易策略。因此本文提出构造几种常见的投资组合以降低市场噪音,以投资组合作为交易对象来训练深度强化学习网络,从而获得有效的交易策略。实证结果表明,基于投资组合进行交易要优于要交易的投资组合对象。并发现智能体能够有效识别买入卖出时机,以及在适当时机将资本从低收
学位
2021年中国共产党迎来建党一百周年纪念,党的宣传工作作为党的一条重要战线也走过了百年历程。如今,建党百年之际,世界正处于百年未有之大变局,党的中心任务也有了新的变化和发展,我们正面临着前所未有的机遇和挑战。在这样的背景下,如何做好新时代的宣传工作,如何客观真实地讲好中国故事,对提高我国在国际上的地位、塑造我国良好的国际形象意义重大。回顾建党百年来宣传工作的发展历程,从历史中汲取养分,尤其对宣传工
学位
我国商业银行理财产品市场发端于2003年。2003年,中国银行推出“汇聚宝”外汇理财产品,这是国内商业银行第一次使用“理财产品”的名称,标志着我国商业银行理财产品的诞生。2004年9月,国内第一款人民币理财产品出现。随后,我国商业银行人民币理财产品的数量大幅增长,互联网理财产品等竞品也逐渐涌现出来,其高收益和便利性吸引了大量用户。但银行理财产品的收益率目前来看不低于互联网理财产品,许多投资者依然青
学位
随着城市人口和人均收入的增加,城市汽车使用率显著提高,导致交通拥堵现象日益严重,从而制约了城市的经济发展。交通预测任务作为智能交通系统(ITS)重要的研究内容,能够为城市交通决策提供重要的依据。交通预测是典型的时空序列预测问题,由于交通数据复杂的时空依赖性,实时准确的交通预测一直是一个巨大的挑战。在空间维度上,交通状态的变化受路网拓扑结构的影响,具体表现为上游道路的交通状态对下游道路的交通状态的传
学位
股市投资策略的研究具有非常重要的理论意义和实际价值。与传统的股市投资方法相比,基于人工智能技术的量化投资策略具有更好的自适性等诸多优点。强化学习提供了一套从实际经验中学习最佳解决方案的方法,而有利于与金融市场的直接互动。过去的几年里,已有许多学者对标准深度Q学习(DQN)算法进行改进。基于值函数分布的分布强化学习算法(如C51、QR-DQN等)在Atari游戏中有优于基于价值期望的标准DQN算法的
学位
因子投资涵盖的内容多种多样。利用因子,可以获得收益,也可以控制风险;利用因子,可以进行资产管理,也可以获得套利机会;利用因子,可以去研究投资者所预期的回报,也可以去研究投资者收益的波动。这些因子可以被用来表征和描述众多投入资产中所共同暴露在其身上的某些系统性风险,这些系统性风险就是影响资产价值和收益的驱动因素,而因子回报与这种系统性风险存在较多的联系。历史研究中发现,因子类的随机组合通常有着最高的
学位