ETL技术在实现数据分析系统中的应用研究

被引量 : 8次 | 上传用户:zhang_ts
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据仓库已成为解决金融行业中大量业务数据处理、汇总和分析的一种重要技术,而ETL (Extract-Transform-Load)过程在数据仓库的应用中起着关键作用。利用ETL过程可以把各个孤立的异构数据源中的业务数据抽取、转换并装载到数据仓库中,为基于数据仓库的决策分析应用提供高质量的数据。本文作者的主要研究工作如下:1)研究了ETL过程中关于数据抽取,数据转换和数据加载的相关技术与方法。2)使用J2EE实现了一个具有并行处理能力、支持多种数据源、任务配置灵活和易扩展的ETL过程。3)针对金融行业数据量大的特点,通过在ETL过程中使用集群、负载均衡和Oracle RAC (Real Application Cluster)三种并行处理技术提高系统性能。4)根据证券风险控制系统中提出的业务需求,给出集群环境下ETL的系统架构,以及ETL系统中关于数据抽取,数据转换和任务管理主要模块的设计方案;5)对负载调度,任务管理和调度执行的实现进行了详实描述,并给出主要数据模型和关键类。本文作者参与设计和实践的ETL系统已成功上线,运行平稳,处理效率显著提高。实践证明结合并行处理和集群负载均衡技术是提高ETL性能的一种较好和可行的技术解决方案。
其他文献
内皮祖细胞是血管内皮细胞的前体细胞,目前较多研究提示其在冠心病中的治疗作用。雌激素可能影响冠心病的病理生理过程和预后,但其益处仍未得到肯定。已经有较多证据显示雌激
"不损害国外环境责任原则"是国际环境法中的一项极其的重要原则,其内容最早出现在特雷尔冶炼厂案和科孚海峡案这两个著名案例之中。两案例在"不损害国外环境责任原则"国际习
本文从理论上探讨大骨节病的中医辨证分型;根据辨证分型结果从临床上采用不同治疗方法对寒湿阻络型大骨节病进行临床疗效观察和验证。目的:通过开展大骨节病的中医证候群的临床
在产品生命周期维护阶段,各种设备维修活动改变了产品组成结构,设备维修状态是描述维护阶段产品组成结构演化的技术信息,因此长生命周期生产设备维修状态管理是产品生命周期
在住宅产业化概念的基础上 ,阐明了中国今后住宅产业化的发展目标和方向 ,指出中国住宅产业化发展的途径 ,阐述了中国住宅产业化准备工作和正式实施时应进行的内容、步骤和具
<正>李金生是江西省吉水县中医院主任中医师,全国第四批名老中医药专家学术经验继承工作指导老师。临证30余年,治学严谨,学验俱丰,擅长治疗内科病证,尤对肝病颇有造诣,尊古训
受贿犯罪是腐败的重要表现形式之一,历来是我国刑法打击的重点。目前,理论界对于受贿罪的研究颇多,但有些问题还有相当大的争议,需要深入研究。本文分八章对受贿罪进行了详细
余华是最激进的先锋派作家之一,而毕飞宇的创作也受到先锋文学的影响。通过对比发现,余华的《十八岁出门远行》和毕飞宇的《地球上的王家庄》两篇短篇在内容与形式上存在着可
新媒体是相对于传统而言的现代信息传播手段,新媒体改变了并重构了人们的信息交流方式,成为一种新的社会形态。分析新媒体的发展对现代高校大学生的就业影响,能够有助于辨别
最密切联系理论又称最强联系理论或最重要联系理论,是指在确定某一涉外民商事案件准据法时,法官应针对具体争议,在充分考虑州际或国际体制需要、法院地相关政策、有利益关系