论文部分内容阅读
摘要:为实现企业异构数据库间信息的共享和集成,对数据集成的原理以及主要技术进行了研究。重点分析了XML与关系数据库之间的映射,提出了一种以XML作为中间件的异构数据库集成和转化方案,并对其中的主要环节给出了具体实现。该方案实现了异构数据库的透明访问和联合查询,为企业信息系统集成提供了一种技术方法。
关键词:异构数据库;XML;中间件;企业;信息集成技术
中图分类号:TP311文献标志码:A文章编号:1673-291X(2009)23-0022-02
人类在21世纪的可持续发展从战略意义上看,将会越来越依赖于社会的整体科技创新能力和由此派生而出的知识经济,而以信息技术为特征的全球网络化及Internet的逐渐普及的影响也毫无例外地冲击着产品制造工业。所以,建立一套适合我国国情,支持产品开发与生产全过程的现代设计方法与系统,有效地组织多学科的产品开发队伍,充分利用各种计算机辅助工具,综合应用现代先进的设计方法,有效地考虑产品开发与生产的全过程,从而缩短产品开发周期,降低成本,提高质量,快速响应用户需求,这导致了:
从制造产品所需的企业管理与组织结构方面看,具备全球化、并行化与敏捷化特征的企业集成技术将成为新一代企业生存的决定性因素。
本文针对现代企业信息化的需求,提出了建立基于XML的企业信息集成框架的基本思路,阐述了XML技术在现代企业信息交互中的作用,并对XML与指定格式文本的转化方法进行了研究。
1体系结构
在大型企业中,由于生产自动化进程的阶段性,一般都存在基于多种数据库管理系统(DBMS)的应用程序系统,如基于Microsoft Access的底层生产过程控制系统、基于Oracle或者Sql Server的高层企业资源计划系统(ERP)等等,这些系统的数据库一般都只在本系统内部存取,而不能被其他系统访问。这种状况导致企业不同层次信息孤岛的出现,严重影响信息传递的实时性、加大信息维护的成本。
XML企业信息集成系统构建在数据库系统之上,目的是集成异构数据源信息,为数据共享、发布和应用提供支持,并负责XML向其他格式文本的转换。
本系统采用客户/服务器三层架构,如图1所示。各个异构数据库资源构成了系统数据层;本系统完成的主要任务,即异构数据集成和查询的功能被封装构成业务层,并使用XSL将XML转换成指定格式的文本;用户的应用构成系统的表示层。
2异构数据源集成方法
对于异构数据库集成,目前主要研究和采用的技术有以下三种:
2.1 数据库迁移和转换
将原有的数据迁移到新的数据管理系统中来,为了集成不同类型的数据,必须将一些非传统的数据类型转化成新的数据类型。利用数据转化程序,对数据格式进行转换,从而能被其它的DBMS接收。这种方法处理简单经济,运行时效率高,已为大多数用户理解和接受。它适合于对数据的实时性要求不高的场合。
2.2 多数据库系统
它是一种能够接受和容纳多个异构数据库的系统,对外呈现出一种集成结构,而对内又允许各个异构数据库的“自治性”。多数据库系统一般分为两类:
有全局统一模式的多数据库系统,每个参与集成的数据库有自己的局部概念模式,用户可以通过建立在局部概念模式上的局部外模式访问本地库。在所有局部概念模式的基础上建立了全局概念模式,用户通过建立在全局概念模式上的全局外模式访问集成系统中的其他数据库。
联邦式数据库系统,各个异构的局部数据库之间仅存在着松散的联邦式耦合关系,没有全局统一模式,各局部数据库通过定义输入、输出模式进行彼此之间的数据访问。各局部数据库能对自己的完整性和安全性等进行控制。
2.3 XML中间件技术
目前,网上有很多信息格式是半结构化或非结构化的,其来源极端异构。利用XML作为中间件对这些信息进行元数据搜索,提供一个统一界面的检索系统是一个较好的应用方案。XML(Extensible Markup Language,可扩展标记语言)是由W3C(World Wide Web Consortium)组织于1998年2月制定的一种通用语言规范,它是专门为Web应用程序而设计的SGML的简化子集。XML的好处是数据的可交换性(portable),同时在数据应用方面还具有如下优点:(1)XML文件为纯文本文件,不受操作系统、软件平台的限制;(2)XML具有基于Schema自描述语义的功能,容易描述数据的语义,这种描述能为计算机理解和自动处理;(3)XML不仅可以描述结构化数据,还可有效描述半结构化,甚至非结构化数据。
中间件(Middleware)是位于异构数据库系统(数据层)和应用程序(应用层)之间,向下协调各数据库系统,向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口,是异构系统集成所需的粘接剂。功能完善的数据库中间件,可以对用户屏蔽数据的分布地点、DBMS平台、SQL方言/扩展、特殊本地API等差异。解决了异构数据库的互操作性问题。与第一种方法相比,它也解决了同步问题,而且利用中间件集成异构数据库,并不需要改变原始数据的存储和管理方式。各数据库的应用仍然完成他们的任务,中间件系统则主要集中为异构数据源提供一个高层次检索服务。显然,中间件系统模式是实现异构数据集成较理想的解决方案。
3异构数据库的中间件的设计方法
本文设计了三层的结构,分别实现与源数据库、中间数据库(XML文档)、目的数据库的连接,并实现数据在这三个数据源中的转换及传输,同时屏蔽掉各层次的异构特性,只需要通过简便的操作就能进行数据转换和结果汇总。
3.1 异构数据库间数据的传送中间件的结构
该中间件主要涉及三个部分:源数据库、实现数据转换的中间数据库、目的数据库。我们就把中间件分为三层:源数据控制层、中间数据层和目的数据控制层。
(1)源数据控制层
它负责建立与源数据库的连接,从源数据库中读出源数据表的描述信息、表的列名、列的数目、各列的数据类型、列的长度等。
(2)中间数据层
它读取源数据库与中间数据库的数据类型映射表,确定源数据在中间数据库中的数据类型,建立中间数据文档的Schema (描述引用它的XML文件中的元素和属性的结构和类型)。从源数据库表中读出数据,根据中间数据文档的Schema,将源数据转换为中间数据格式并存储在中间数据文件中。
(3)目的数据控制层
它负责建立与中间数据的连接,根据目的数据库与中间数据的数据类型映射表确立中间数据在目的数据库中的数据类型;确定对中间数据的操作方式(插入、删除等),建立与目的数据库的连接。根据对中间数据的处理方案和中间数据所对应的目的数据类型,将中间数据传送到目的数据库表中。
3.2 XML在设计中的应用
在这个阶段的任务是建立XML文档的Schema文件和向XML文档中写数据。Schema文件和XML文档都要根据源数据的字段个数和各字段的数据类型在程序中生成。本文用XML Schema来定义XML文档,采用基于树的解析(DOM)器和基于事件的解析器(SAX)相结合使用的方法来进行对XML文档的操作。利用DOM的简易性来建立XML文档,并向其中添加数据,以实现由源数据库向中间数据库一XML文档中写数据。利用SAX基于事件的解析器的边解析边处理的高效率来读取XML文档中的数据,实现从XML文档向目的数据库传送数据。
利用XML作为企业信息系统信息源集成的中介, 既保持了各数据库相对独立性和安全性, 提高数据保存和分析处理的能力,又使企业系统中的各种信息实现了集成,代表了企业信息集成技术发展的方向。
4结束语
利用XML作为中间转换中介可以实现异构数据库的集成,在将各异构数据源转换为统一的XML格式后,利用XSL实现对全部数据的格式转换,以满足用户的不同需求。从而有效地避免了异构数据对我们访问的影响,这在各大企业和科研部门中都有很重要的作用和现实意义。
参考文献:
[1]铁猛.企业信息管理集成技术研究[D].硕士学位论文.长春理工大学.2005.
[2]谢鸿强,董逸生.异构数据源的集成技术[J].工业控制计算机,2001,(6):1-6.
[3]王彦新,杨奎河.基于XML的异构数据库集成方法研究与实现[J].福建电脑,2006,(4):90-91.
[4]胡松涛.基于XMl的异构数据集成研究[D].硕士学位论文.哈尔滨工程大学,2005.
[5]Youngju Son,Hasan Jamil,Farshad Fotouhi. Exploiting Types for Improved Schema Mapping. ACM.2007
关键词:异构数据库;XML;中间件;企业;信息集成技术
中图分类号:TP311文献标志码:A文章编号:1673-291X(2009)23-0022-02
人类在21世纪的可持续发展从战略意义上看,将会越来越依赖于社会的整体科技创新能力和由此派生而出的知识经济,而以信息技术为特征的全球网络化及Internet的逐渐普及的影响也毫无例外地冲击着产品制造工业。所以,建立一套适合我国国情,支持产品开发与生产全过程的现代设计方法与系统,有效地组织多学科的产品开发队伍,充分利用各种计算机辅助工具,综合应用现代先进的设计方法,有效地考虑产品开发与生产的全过程,从而缩短产品开发周期,降低成本,提高质量,快速响应用户需求,这导致了:
从制造产品所需的企业管理与组织结构方面看,具备全球化、并行化与敏捷化特征的企业集成技术将成为新一代企业生存的决定性因素。
本文针对现代企业信息化的需求,提出了建立基于XML的企业信息集成框架的基本思路,阐述了XML技术在现代企业信息交互中的作用,并对XML与指定格式文本的转化方法进行了研究。
1体系结构
在大型企业中,由于生产自动化进程的阶段性,一般都存在基于多种数据库管理系统(DBMS)的应用程序系统,如基于Microsoft Access的底层生产过程控制系统、基于Oracle或者Sql Server的高层企业资源计划系统(ERP)等等,这些系统的数据库一般都只在本系统内部存取,而不能被其他系统访问。这种状况导致企业不同层次信息孤岛的出现,严重影响信息传递的实时性、加大信息维护的成本。
XML企业信息集成系统构建在数据库系统之上,目的是集成异构数据源信息,为数据共享、发布和应用提供支持,并负责XML向其他格式文本的转换。
本系统采用客户/服务器三层架构,如图1所示。各个异构数据库资源构成了系统数据层;本系统完成的主要任务,即异构数据集成和查询的功能被封装构成业务层,并使用XSL将XML转换成指定格式的文本;用户的应用构成系统的表示层。
2异构数据源集成方法
对于异构数据库集成,目前主要研究和采用的技术有以下三种:
2.1 数据库迁移和转换
将原有的数据迁移到新的数据管理系统中来,为了集成不同类型的数据,必须将一些非传统的数据类型转化成新的数据类型。利用数据转化程序,对数据格式进行转换,从而能被其它的DBMS接收。这种方法处理简单经济,运行时效率高,已为大多数用户理解和接受。它适合于对数据的实时性要求不高的场合。
2.2 多数据库系统
它是一种能够接受和容纳多个异构数据库的系统,对外呈现出一种集成结构,而对内又允许各个异构数据库的“自治性”。多数据库系统一般分为两类:
有全局统一模式的多数据库系统,每个参与集成的数据库有自己的局部概念模式,用户可以通过建立在局部概念模式上的局部外模式访问本地库。在所有局部概念模式的基础上建立了全局概念模式,用户通过建立在全局概念模式上的全局外模式访问集成系统中的其他数据库。
联邦式数据库系统,各个异构的局部数据库之间仅存在着松散的联邦式耦合关系,没有全局统一模式,各局部数据库通过定义输入、输出模式进行彼此之间的数据访问。各局部数据库能对自己的完整性和安全性等进行控制。
2.3 XML中间件技术
目前,网上有很多信息格式是半结构化或非结构化的,其来源极端异构。利用XML作为中间件对这些信息进行元数据搜索,提供一个统一界面的检索系统是一个较好的应用方案。XML(Extensible Markup Language,可扩展标记语言)是由W3C(World Wide Web Consortium)组织于1998年2月制定的一种通用语言规范,它是专门为Web应用程序而设计的SGML的简化子集。XML的好处是数据的可交换性(portable),同时在数据应用方面还具有如下优点:(1)XML文件为纯文本文件,不受操作系统、软件平台的限制;(2)XML具有基于Schema自描述语义的功能,容易描述数据的语义,这种描述能为计算机理解和自动处理;(3)XML不仅可以描述结构化数据,还可有效描述半结构化,甚至非结构化数据。
中间件(Middleware)是位于异构数据库系统(数据层)和应用程序(应用层)之间,向下协调各数据库系统,向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口,是异构系统集成所需的粘接剂。功能完善的数据库中间件,可以对用户屏蔽数据的分布地点、DBMS平台、SQL方言/扩展、特殊本地API等差异。解决了异构数据库的互操作性问题。与第一种方法相比,它也解决了同步问题,而且利用中间件集成异构数据库,并不需要改变原始数据的存储和管理方式。各数据库的应用仍然完成他们的任务,中间件系统则主要集中为异构数据源提供一个高层次检索服务。显然,中间件系统模式是实现异构数据集成较理想的解决方案。
3异构数据库的中间件的设计方法
本文设计了三层的结构,分别实现与源数据库、中间数据库(XML文档)、目的数据库的连接,并实现数据在这三个数据源中的转换及传输,同时屏蔽掉各层次的异构特性,只需要通过简便的操作就能进行数据转换和结果汇总。
3.1 异构数据库间数据的传送中间件的结构
该中间件主要涉及三个部分:源数据库、实现数据转换的中间数据库、目的数据库。我们就把中间件分为三层:源数据控制层、中间数据层和目的数据控制层。
(1)源数据控制层
它负责建立与源数据库的连接,从源数据库中读出源数据表的描述信息、表的列名、列的数目、各列的数据类型、列的长度等。
(2)中间数据层
它读取源数据库与中间数据库的数据类型映射表,确定源数据在中间数据库中的数据类型,建立中间数据文档的Schema (描述引用它的XML文件中的元素和属性的结构和类型)。从源数据库表中读出数据,根据中间数据文档的Schema,将源数据转换为中间数据格式并存储在中间数据文件中。
(3)目的数据控制层
它负责建立与中间数据的连接,根据目的数据库与中间数据的数据类型映射表确立中间数据在目的数据库中的数据类型;确定对中间数据的操作方式(插入、删除等),建立与目的数据库的连接。根据对中间数据的处理方案和中间数据所对应的目的数据类型,将中间数据传送到目的数据库表中。
3.2 XML在设计中的应用
在这个阶段的任务是建立XML文档的Schema文件和向XML文档中写数据。Schema文件和XML文档都要根据源数据的字段个数和各字段的数据类型在程序中生成。本文用XML Schema来定义XML文档,采用基于树的解析(DOM)器和基于事件的解析器(SAX)相结合使用的方法来进行对XML文档的操作。利用DOM的简易性来建立XML文档,并向其中添加数据,以实现由源数据库向中间数据库一XML文档中写数据。利用SAX基于事件的解析器的边解析边处理的高效率来读取XML文档中的数据,实现从XML文档向目的数据库传送数据。
利用XML作为企业信息系统信息源集成的中介, 既保持了各数据库相对独立性和安全性, 提高数据保存和分析处理的能力,又使企业系统中的各种信息实现了集成,代表了企业信息集成技术发展的方向。
4结束语
利用XML作为中间转换中介可以实现异构数据库的集成,在将各异构数据源转换为统一的XML格式后,利用XSL实现对全部数据的格式转换,以满足用户的不同需求。从而有效地避免了异构数据对我们访问的影响,这在各大企业和科研部门中都有很重要的作用和现实意义。
参考文献:
[1]铁猛.企业信息管理集成技术研究[D].硕士学位论文.长春理工大学.2005.
[2]谢鸿强,董逸生.异构数据源的集成技术[J].工业控制计算机,2001,(6):1-6.
[3]王彦新,杨奎河.基于XML的异构数据库集成方法研究与实现[J].福建电脑,2006,(4):90-91.
[4]胡松涛.基于XMl的异构数据集成研究[D].硕士学位论文.哈尔滨工程大学,2005.
[5]Youngju Son,Hasan Jamil,Farshad Fotouhi. Exploiting Types for Improved Schema Mapping. ACM.2007