开源ETL系统研究与设计实现

来源 :湖北工业大学 | 被引量 : 0次 | 上传用户:jxc678
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
任何公司都有很多宝贵数据,它们需要在网络上从一个地方传送到其他地方,这就需要对软件的数据格式进行必要的处理,如从一个商务软件格式到另一种格式或数据仓库,然后进行分析。现在的问题是,各种数据处于异质系统——例如,由各种CRM(客户关系,Customer Relationship Management)系统产生的数据,可能用不同方式定义一个客户,但需要一个系统平台来统一确定其在后端会计系统是同一客户。为了解决这个问题,利用萃取、改造和装载(ETL,Exrtract、Transformand Load)软件,即阅读资料、统一格式、清洁源数据,并写入它的目标开发存储库。 从多个异构数据源获取业务数据,进行数据清洗和转换后,存储到数据仓库的过程,称为ETL过程。提取可以通过Java的数据库提取连接技术实现,也可以通过微软公司的开放数据库互连技术获取。经过提取、数据转换或修改、依靠所涉及的具体业务逻辑,以便它能够被送到目标存储库.有多种方式进行改造,涉及的作业各有不同。数据可能仅仅需要重新格式化,但大多数的ETL也涉及清洗作业,以消除备份和执行数据一致性。ETL软件的部分功能是用于检查个别数据域,并且运用规则不断转换源数据到目标存储库和应用程序所要求的格式。另外,ETL过程可以涉及的领域如下:标准化域名和地址域、核实电话号码或其他领域、扩展带有附加字段的记录,其中附加字段包括人口统计数据或来自其它系统的数据。 本文以项目踏蓝(TOS,Talend Open Studio)为支撑,主要研究ETL理论及其改进,并就踏蓝项目需求进行ETL系统构架设计,最后测试并达到预期。开源ETL系统解决方案对于企业决策过程整合,(TOS)踏蓝的解决方案是收集、处理和合并公司内部的各种各样不同系统内的数据,并且将他们传输至中央数据库(数据中心)。这样,数据能够很容易被访问;有效地被处理,以便更深层次的分析和报告;或者被再次输入其它运用处理程序。ETL——位于决策过程的中心——允许公司能够根据其需要,清除、标准化以及转化他们的数据。
其他文献
目前,人们对于水下物体在壁面附近运动时,物体受到的水动力干扰究竟如何变化还缺乏了解。在这个领域,基于势流理论和粘性流理论的计算研究都没有成熟可用的经验或资料,需要作大量
二胡演奏在中国乐器表演中具有代表性,演奏模式和传递心声惟妙惟肖,极具感情色彩.它的声音能呈现出深沉、悲凄的表演内涵,同时也能描写出磅礴的意境.其中表演者演奏中过程中
三维编织复合材料由于具有一系列无法替代的优点,被广泛地应用于航空、航天等高科技领域。对于三维编织复合材料力学性能的研究是一个十分重要的问题。目前,对三维编织复合材料
形状记忆合金是一种新型功能金属材料,它在航天、航空、航海、电子、机械、轻工和医疗卫生等方面都有着广泛的应用价值和广阔的发展前景,被称为“21世纪的材料”。 近年来,形
小学生是祖国的花朵,未来的希望,他们担负着承载建设中华民族振兴、繁荣富强的历史使命,他们是祖国未来社会主义现代化建设的接班人.孩子们的教育和成长是我们应该时刻关注的
手绘表现手法的应用有着多重意义,环艺设计师借助手绘效果图来表达自身创作理念,赋予了手绘效果图无与伦比的魅力,还能够高效率、高质量的完成环境艺术设计工作,设计方案也更
对可压缩流动转捩机制的研究有重要的理论与工程意义。实际中,广泛存在有曲率的边界层流动,超音速尖锥边界层问题即是一典型的有曲率的边界层问题,本文对其扰动的演化规律进
为了识别结构刚度函数的微小变化,将微分方程反问题理论,应用到结构振动参数识别领域。首先将结构刚度分布函数分解成原始刚度分布函数和附加刚度分布函数。然后借助于脉冲谱技
蒂姆·波顿是一名出生在伯克班的著名迪斯尼电影导演,他的影片具有鲜明的个人特色——哥特风的成人童话.他的影片黑暗中夹杂着温暖,并非哥特式的恐怖,而是童话的温情.他的童
嘉兴传统园林中的楹联是其中独特的瑰宝,和精美的园林传统建筑相得益彰.嘉兴楹联的基本类型有抒情勉志联,写景状物联及说理格言联,楹联表达了儒家“入世”的文化内涵,追求情