论文部分内容阅读
摘要：目前国内大多数企事业单位还仅停留在服务于单个系统的多对一架构数据集成应用，这种数据集成架构方法严重制约了企业信息化管理效率，以及数据共享性。本文通过分析新时期企业数据业务的变化，阐述了企业单位数据管理的架构体系以及在这些架构体系下的系统实现方法。
关键词：数据集成；ETL；DI；数据仓库；数据迁移；数据合并；数据同步
中图分类号：TP393 文献标识码：A文章编号：1007-9599 (2011) 08-0000-01
The Application of Data Integration
Wu Hongwen
(Xinjiang Uygur Autonomous Region Environmental Protection Information Center,Urumqi830063,China)
Abstract:At present,most enterprises still remain in the service of only a single system of many-to-application data integration architecture,data integration architecture approach that severely restricts the efficiency of enterprise information management and data sharing.By analyzing the changes in the new enterprise data services,explained the structure of enterprise data management unit system and architecture system in such a system under implementation.
Keywords:Data integration;ETL;DI;Data warehouse;Data migration;Data merged;Data synchronization
继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration）已渐被各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成应用，这种架构常见于数据仓库系统领域，服务于企业的商务智能。早期那些数据集成大家大都是从ETL启蒙开始的，当时ETL自然也就成了数据集成的代名词，我们不得不再次接受新一轮的DI洗脑。
数据集成，主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程，是一个渐进的过程，只要有新的、不同的数据产生，就不断有数据集成的步聚执行。企业有了五年、八年的信息化发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与需求日渐迫切，企业需要一个主数据管理（Master Data Manager）系统来统一企业的产品信息、客户信息；企业需要一个数据仓库（Data Warehouse）系统来提高领导层的决策意识，加快市场战略调整行动；企业需要一个数据中心（Data Center）系统来集中交换、分发、调度、管理企业基础数据。
数据集成的必要性、迫切性不言而喻，不断被推至企业信息化战略规划的首要位置。要实现企业数据集成的应用，不光要考虑企业急需集成的数据范围，还要从长远发展考虑数据集成的架构、能力和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性看主要可分三种架构。一种是单个系统数据集成架构、一种是企业统一数据集成架构、一种是机构之间数据集成架构。
单个系统数据集成架构，是国内目前大兴土木所采用的架构，主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系统，集成企业所有基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特点是多对一的架构、复杂的转换条件、TB级的数据量处理与加载，数据存储结构特殊，星型结构、多维立方体并存，数据加载层级清晰。
企业统一数据集成架构，组织结构较复杂的大型企业、政府机构尤为偏爱这种数据集成的架构，因此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征，更需要多个部门一起协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换的需求。如金融机构、电信企业，公安、税务等政府机构，业务独立、层级管理的组织结构决定了内部数据交互的复杂性。概括来说此类应用属于多对多的架构、数据交换频繁、要有独立的数据交换存储池、数据接口与数据类型繁多等特点。
机构之间数据集成架构，这种架构多是应用于跨企业、跨机构、多个单位围绕某项或几项业务进行的业务活动，或由一个第三方机构来进行协调这些企业、机构之间的数据交换、制定统一数据标准，从而形成一个多机构之间的数据集成平台。如中国银联与各商业银行之间的应用案例、各市政府信息中心与市政府各机关单位之间的应用案例、外贸EDI（海关、检验检疫局、外汇局、银行、保险、运输等）、BTOB电子商务平台等。这类应用属于跨多企业、单位多对多的架构，具有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。
以上三种数据集成架构，一种是对应于某一个应用系统的多对一架构，一种是完成企业内部众多系统之间数据交换的多对多架构，一种是为多个跨企业、单位机构实现某一项或几项业务活动而建立的多对多架构，数据集成的应用差不多都是基于这三种架构，每种架构可能会对应于多种数据集成的应用。国内企业常见的数据集成应用有数据仓库、数据同步、数据交换。随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始纷繁异景起来。
目前大部分数据集成都是围绕数据仓库（Data Warehousing）、数据迁移（Data Migration）、数据合并（Data Consolidation）、数据同步（Data Synchronization）、数据交换（Data Hubs或者叫主数据管理：Master Data Management）这5种常见的企业应用形式来构建企业系统应用。
数据仓库（Data Warehousing）应用：数据仓库的发展在国内差不多有近10个年头，数据仓库中的数据集成应用主要是围绕ETL的功能来实现，一般来说其主要功能是将多个业务系统不同种数据类型的数据抽取到数据仓库的ODS（Operational Data Store）层，经过转换，加载存储到星型结构的DW（Data Warehouse）层，为满足不同主题的展现应用，再向关系型数据库或多维数据库进一步汇总加载，其ETL功能可由手工编程或专业工具软件这两种类型来实现。
数据迁移（Data Migration）应用：这种应用比较容易理解，对于新旧系统升级、数据大集中时的数据作迁移，使数据更能顺应新系统的结构变化而平稳迁移。
数据合并（Data Consolidation）应用：在企业并购中很容易产生数据合并的应用，如两个企业的HR系统的合并、财务系统的合并、其它业务系统的合并，当系统需要合并必然产生数据的合并，因此对企业数据进行统一标准化、规范化、数据的补缺、数据的一致性都将导致数据合并。
数据同步（Data Synchronization）应用：当企业一个系统的业务活动会影响其它多个系统的进程时，对数据的实时性、准确性就尤显重要。如航空公司与航空机场之间的数据同步应用、证券交易所与证券公司之间的股票信息同步、金融业的汇率信息同步等等，影响数据同步的实时性与可靠性的因素会有网络的连通性、传输效率、数据接口、数据格式等，这些诸多因素都属于数据集成中的数据同步要解决的问题。
关键词：数据集成；ETL；DI；数据仓库；数据迁移；数据合并；数据同步
中图分类号：TP393 文献标识码：A文章编号：1007-9599 (2011) 08-0000-01
The Application of Data Integration
Wu Hongwen
(Xinjiang Uygur Autonomous Region Environmental Protection Information Center,Urumqi830063,China)
Abstract:At present,most enterprises still remain in the service of only a single system of many-to-application data integration architecture,data integration architecture approach that severely restricts the efficiency of enterprise information management and data sharing.By analyzing the changes in the new enterprise data services,explained the structure of enterprise data management unit system and architecture system in such a system under implementation.
Keywords:Data integration;ETL;DI;Data warehouse;Data migration;Data merged;Data synchronization
继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration）已渐被各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成应用，这种架构常见于数据仓库系统领域，服务于企业的商务智能。早期那些数据集成大家大都是从ETL启蒙开始的，当时ETL自然也就成了数据集成的代名词，我们不得不再次接受新一轮的DI洗脑。
数据集成，主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程，是一个渐进的过程，只要有新的、不同的数据产生，就不断有数据集成的步聚执行。企业有了五年、八年的信息化发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与需求日渐迫切，企业需要一个主数据管理（Master Data Manager）系统来统一企业的产品信息、客户信息；企业需要一个数据仓库（Data Warehouse）系统来提高领导层的决策意识，加快市场战略调整行动；企业需要一个数据中心（Data Center）系统来集中交换、分发、调度、管理企业基础数据。
数据集成的必要性、迫切性不言而喻，不断被推至企业信息化战略规划的首要位置。要实现企业数据集成的应用，不光要考虑企业急需集成的数据范围，还要从长远发展考虑数据集成的架构、能力和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性看主要可分三种架构。一种是单个系统数据集成架构、一种是企业统一数据集成架构、一种是机构之间数据集成架构。
单个系统数据集成架构，是国内目前大兴土木所采用的架构，主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系统，集成企业所有基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特点是多对一的架构、复杂的转换条件、TB级的数据量处理与加载，数据存储结构特殊，星型结构、多维立方体并存，数据加载层级清晰。
企业统一数据集成架构，组织结构较复杂的大型企业、政府机构尤为偏爱这种数据集成的架构，因此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征，更需要多个部门一起协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换的需求。如金融机构、电信企业，公安、税务等政府机构，业务独立、层级管理的组织结构决定了内部数据交互的复杂性。概括来说此类应用属于多对多的架构、数据交换频繁、要有独立的数据交换存储池、数据接口与数据类型繁多等特点。
机构之间数据集成架构，这种架构多是应用于跨企业、跨机构、多个单位围绕某项或几项业务进行的业务活动，或由一个第三方机构来进行协调这些企业、机构之间的数据交换、制定统一数据标准，从而形成一个多机构之间的数据集成平台。如中国银联与各商业银行之间的应用案例、各市政府信息中心与市政府各机关单位之间的应用案例、外贸EDI（海关、检验检疫局、外汇局、银行、保险、运输等）、BTOB电子商务平台等。这类应用属于跨多企业、单位多对多的架构，具有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。
以上三种数据集成架构，一种是对应于某一个应用系统的多对一架构，一种是完成企业内部众多系统之间数据交换的多对多架构，一种是为多个跨企业、单位机构实现某一项或几项业务活动而建立的多对多架构，数据集成的应用差不多都是基于这三种架构，每种架构可能会对应于多种数据集成的应用。国内企业常见的数据集成应用有数据仓库、数据同步、数据交换。随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始纷繁异景起来。
目前大部分数据集成都是围绕数据仓库（Data Warehousing）、数据迁移（Data Migration）、数据合并（Data Consolidation）、数据同步（Data Synchronization）、数据交换（Data Hubs或者叫主数据管理：Master Data Management）这5种常见的企业应用形式来构建企业系统应用。
数据仓库（Data Warehousing）应用：数据仓库的发展在国内差不多有近10个年头，数据仓库中的数据集成应用主要是围绕ETL的功能来实现，一般来说其主要功能是将多个业务系统不同种数据类型的数据抽取到数据仓库的ODS（Operational Data Store）层，经过转换，加载存储到星型结构的DW（Data Warehouse）层，为满足不同主题的展现应用，再向关系型数据库或多维数据库进一步汇总加载，其ETL功能可由手工编程或专业工具软件这两种类型来实现。
数据迁移（Data Migration）应用：这种应用比较容易理解，对于新旧系统升级、数据大集中时的数据作迁移，使数据更能顺应新系统的结构变化而平稳迁移。
数据合并（Data Consolidation）应用：在企业并购中很容易产生数据合并的应用，如两个企业的HR系统的合并、财务系统的合并、其它业务系统的合并，当系统需要合并必然产生数据的合并，因此对企业数据进行统一标准化、规范化、数据的补缺、数据的一致性都将导致数据合并。
数据同步（Data Synchronization）应用：当企业一个系统的业务活动会影响其它多个系统的进程时，对数据的实时性、准确性就尤显重要。如航空公司与航空机场之间的数据同步应用、证券交易所与证券公司之间的股票信息同步、金融业的汇率信息同步等等，影响数据同步的实时性与可靠性的因素会有网络的连通性、传输效率、数据接口、数据格式等，这些诸多因素都属于数据集成中的数据同步要解决的问题。