多维数据中异常单元与异常趋势挖掘子系统的设计与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:reno1126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据仓库和OLAP技术的发展,越来越多的企业运用OLAP技术分析多维数据,以支持管理决策。数据立方体中可能存在异常。对用户来说,异常可能意味着有待解决的问题,或者存在着商机。因此,有必要发现数据立方体中的异常。分析人员可以根据他的直觉和假定,使用诸如下钻、上卷等OLAP操作,去发现异常,但是这一探查过程搜索空间很大,人工探查数据,不仅容易迷失,而且难以发现异常或容易忽略异常。因此,用户需要一种机制来自动发现多维数据中的异常。 本文针对多维数据中异常发现的问题展开系统而深入的研究,分别研究了Top-K异常单元挖掘和立方体中多维时间序列的Top-K异常趋势挖掘两个问题,本文挖掘的是从多维多角度考察度量值是异常的立方体单元和趋势是异常的时间序列。 已有的基于发现的立方体探查技术通过比较立方体单元的度量值与根据统计模型得到的期望值,来计算每个单元的异常程度,并采用可视化的提示指导用户探查立方体。该方法必须在建立立方体的同时计算异常度,失去了灵活性又缺少用户个性化。 本文从实际问题出发,研究了Top-K异常单元挖掘和立方体中多维时间序列的Top-K异常趋势挖掘两个问题,所用的方法更具有效率和灵活性,主要工作包括: 1.多维数据中Top-K异常单元挖掘问题本文简化了基于发现的立方体探查技术中计算期望值的方法,通过消除重复计算等优化策略,大幅度提高了效率。增加了用户个性化,只针对任务相关数据集挖掘从用户感兴趣的各个维考察是异常的单元。本文在以Mondrian为实验平台的原型系统中实现和测评算法。 2.多维数据中Top-K异常趋势挖掘问题本文提出了自底向上和自顶向下两种思路相结合的多维时间序列趋势提取方法,既保证尽可能多地发现全部趋势,又消除了“过分段”,保证了全局优化性。本文准确定义了异常趋势,设计了基于实际序列与期望序列分段比较的Top-K异常趋势挖掘算法,并在原型系统上进行了实现和评测。
其他文献
随着Internet在全球的普及和发展,越来越多的计算机用户可以方便快捷地通过互联网共享极其丰富的信息资源。计算机网络已经和人们的学习、工作紧密的联系在一起,成为现代社会中
人们日常生活的信息需求中很多都和位置有关。人们获取位置相关的需求有多种途径,例如,提问和搜索。在社交网络兴起之前,搜索是一种便利的获取位置相关的信息的途径,然而获取的通
社情民意调查就是为了得到社情民意而采用各种方法进行的调查。进行社情民意调查的目的是为了尽可能的了解当前的社情民意,为政府、企业提供决策所需的信息。没有调查就没有
随着第三代移动通信系统的临近,3G移动无线网上的视频应用成了人们关注的议题。3G上的视频应用按照业务内容来分有视频电话,网络游戏,视频短信,视频点播等等。移动视频应用业务以
营销管理涉及企业生产经营前前后后各个环节,从市场调研到决策生产,从产品发布到促销宣传,从价格定位到渠道管理,方方面面都需要合适的人能及时、有效、有序地利用各类合适的
随着移动设备硬件技术不断地提高,移动网络技术日渐成熟,以及人们对位置相关信息的需求,传统的GIS技术已逐步地朝移动GIS技术的方向迈进。移动GIS技术是-门结合了移动计算、
草图动画能够帮助用户快速地实现运动场景的原型设计和动态概念的建模,让用户随手记下他们的思维,因此在动画的早期设计、用户界面设计、建筑设计等领域都有着广泛的应用。计算
需求跟踪是需求工程的重要组成部分,为软件开发过程提供了有力的支持,它有利于确认系统的需求是否实现,管理需求变更和软件制品变更之间的相互影响,是实现有效的软件管理,提高软件
日益突出的网络安全问题以及网络带宽的高速增长,给网络安全检测系统的性能带了很大挑战。因此,设计、实现适用于高速网络环境下的网络入侵检测系统(NIDS)的需求变得异常迫切。
自然景观中飘雪的模拟,可以大大提高虚拟场景的逼真效果。雪花形态的不规则性、运动的无规律性以及受环境因素影响大的特点,使其建模方式和运动描述都非常困难。真实感的飘雪