数据仓库中实时抽取机制的研究与实现

来源 :北京邮电大学 | 被引量 : 6次 | 上传用户:tianwaiyun6
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高决策科学化水平,电信企业也纷纷构建了以数据仓库系统为核心的经营分析系统,为企业的决策提供管理信息。然而,经营分析系统不能实时地根据变化数据产生信息,进而支持企业日常管理所需的结构化决策行为,无法将恰当的信息在恰当的时间传递给恰当的人,因此,当信息越来越多时,决策者利用信息却变得越来越困难。主动实时数据仓库技术可以支持这个问题的解决,变化数据捕获是其中的关键技术。本文利用数据库在线日志技术,给出了一个基于消息队列的变化数据捕获框架,能够支持实时从生产系统捕获变化数据,按照预定格式进行转换后经过消息中间件传送到目的端,由目的端应用代理对消息进行接收和处理。并在此基础上设计了一个事件处理模型,该模型根据变化的数据产生事件,并主动驱动后续的ETL过程,实时地生成管理信息,结合发布/订阅机制,可以很好地解决信息实时生成、主动推送问题,进而为自动化日常结构决策行为提供支持。整个框架处理过程都是由事件驱动的,形成一个实时决策分析的闭环。整个过程是一个动态的发现处理的过程,从商业系统中检测和收集事件,把事件转化成有意义的业务信息,然后发现并分析业务条件和异常,自动的对业务环境做出最合适的决策,最后根据决策来执行业务行为。此框架基于对传统数据仓库架构的扩充,保留了传统数据仓库的架构,以便于具体的实施,增加了对数据的实时性处理和基于事件驱动的主动机制,来支持日常结构化的决策行为。
其他文献
数字水印技术为互联网上的著作权问题提供了解决方案,版权保护是数字水印技术的重要应用之一。本文主要研究的是小波包和小波变换的图像数字水印技术,并结合了新的混沌加密理论
随着计算机应用技术的发展,电子文档的数量呈爆炸的趋势增长。各种形式的电子文档中蕴涵着丰富的信息,但由于它们是以非结构化或半结构化形式存储的,所以无法用传统的数据挖掘方
在多级安全数据库系统中经典的BLP模型的“向上写”规则违反了数据库的完整性约束,并产生隐蔽通道和推理通道问题,解决方法是引入多实例。但引入多实例会引起语义模糊的问题,
数学公式是一类非常特殊的符号表达式。在外形上,它呈现非线性结构,可以用于描述和展示比普通文本更加复杂的逻辑关系;在内容上,它简洁明了,对问题的描述和表达比普通文本更
Internet的发展改变了人们的生活方式,但是网络给人们带来巨大便利的同时也带来了各种各样的安全威胁,网络病毒是其中最主要的部分。随着互联网的发展,网络病毒传播的速度越来越
网络的发展使得世界各地越来越丰富的电子资源信息供人们使用,但是随着数字信息的爆炸性增长,快速有效地获取需要的相关信息却又变得越来越困难,因而对信息获取技术的发展提出了
Internet环境中分布着数目巨大、形式多样、功能各异的可共享资源,如何充分利用网络中丰富的资源、消除信息孤岛是人们一直在致力解决的问题。网格计算技术的出现旨在寻求有
基于统计学习理论的支持向量机算法具有坚实的数学理论基础和严格的理论分析,具有理论完备、全局优化、适应性强、推广能力好等优点,是机器学习中的一种新方法和研究新热点。它
互联网正从一个静态数据内容占主导地位的阶段快速发展成为一个包含静态媒体内容和连续媒体内容的综合的信息资源库。随着网络带宽和计算机处理能力的提升,流媒体技术成为人们
近些年,随着人们对精神文化的不断追求,以及国家对文化产业的大力支持,文化演出服务行业随之繁荣。文化演出服务提供者提供的资源日益丰富,观众的需求偏好日益个性化,如何将丰富的