论文部分内容阅读
【摘要】随着油田信息化建设的不断发展,面向源头数据管理层面的需求日益增大。本文从源头数据质量的重要性入手,在我国现有油田源头数据的研究及应用基础之上,从“数字化石油”建设的思路出发,进行源头数据资源管理体系建设的研究,以营造良好的数据环境,为我国石油企业源头数据中心及整体信息化建设奠定基础。
【关键词】油田;源头数据;资源管理;体系建设
0.引言
在源头数据的建设成长历程中,伴随着生产管理的需要,以源头数据生命周期模型规划的源头采集等各个软件系统正在日趋调整完善。同时,随着油田信息化建设的不断发展,基于源头数据库应用成果的逐步扩大,源头数据管理也将工作重心转移到以数据质量管理为核心的工作中,面向源头数据管理层面的需求也日益增大。
目前,石油企业及其有关研究人员都还是主要关注数据中心建设,而对于数据资源建设重视程度明显不高,尤其是对于源头数据资源建设。数据作为石油企业的宝贵资源,其质量的高低会对各石油企业的可持续化管理带来重大的影响,如果基础数据质量不高,企业管理、决策和调控的依据必不充足,石油企业信息化建设成效也失去了基础保障。目前,我国大部分石油企业依然是采用追账式数据资源建设模式来完成基础数据资源建设。
因此,本文在对我国石油企业目前数据资源建设现状研究之上,从“油田数字化”建设的思路出发,提出源头数据资源管理体系,以建立稳定的数据基础,为我国石油企业数据中心建设及石油企业整体信息化建设奠定基础。
1.源头数据资源管理体系的概述
为提高应用源头数据的效果,目前,我们需要解决数据标准、采集管理、数据质量、应用支持这四个方面的问题。
(1)数据标准:加强源头数据标准的版本控制,全面掌控源头数据标准的变更、升级情况;对局厂两级库之间进行标准一致性控制;注重厂级单位在局级标准上的扩充情况;为源头应用用户提供详细的标准查询功能;建立完善应用用户与各级管理人员的沟通反馈渠道。
(2)采集管理:加强源点采集计划的两级控制,通过对采集点数据采集入库情况的了解,考核源头数据采集的齐全性与及时性;借助上层的采集计划管理,将目前不同的业务专业采集软件进行有机整合。
(3)数据质量:为了提高源头数据的质量,建立“局厂队”三级质量检查,层层把关;以局级质量检查规则为蓝本,在厂队两级逐级细化丰富检查规则,以业务管理为导向进行深层次的挖掘性检查;制定一套有效的质量检查问题跟踪机制,提升采集效益;建立质量检查规则收集与交流反馈渠道。
(4)应用支持:加强对源头数据的应用支持管理,形成基于源头库相关业务应用系统的审批流程;建立源头数据库用户的档案信息,全面掌握业务相关应用数据字典管理;为源头数据库管理人员提供即时的状况信息(存储空间使用情况、日月度数据增长情况、数据库链接session情况)。
图1源头数据资源管理体系架构
2.源头数据资源管理体系架构
为了数据管理部门能够直观地进行数据资源的管理,以及各种统计查询,丰富原有各类专业软件的应用成果展示,本文建成一套基于B/S浏览器模式的应用系统。
本文所研究源头数据资源管理体系将源头数据资源管理系统分为数据标准管理、采集计划管理、数据质量管理、应用支持管理四个部分(如上图1)。
2.1数据标准管理
源头数据标准是项目建设的基础和关键。因此石油企业应尽快制定统一的标准并严格执行,这是避免信息分散、减少数据“信息孤岛”的有效途径。
2.1.1标准查询管理
标准查询管理为源头数据管理及使用人员提供源头标准的查询功能;管理使用人员可以全面的了解现有源头标准的建设情况(如各专业标准的建设情况,标准项的覆盖情况)。同时,通过标准的数据字典查询,可以了解各个源头数据表的数据项的定义情况;通过附录和单位代码的查询,以及提供对源头数据表相关的数据库对象进行查询,便于管理员掌握标准变更时需要注意的关联对象。
2.1.2 标准发布与更新管理
在标准升级时,对标准的版本进行集中管理,让源头管理人员准确掌握各级源头库标准的变更情况。对于新版标准的发布,形成规范的升级补丁脚本,提供给厂级库(也可以面向采集原点的本地库)。同时对各级源头库的升级情况进行监督,提高源头数据上报的规范性。
2.1.3标准交流与反馈管理
为标准管理部门和标准用户间搭建起沟通渠道,将用户对标准的疑问进行分类管理,由管理人员进行解释答疑,并将标准完善的建议收集上报,提高标准完善的良性发展。
2.2数据采集管理
源头数据采集工作是循序渐进、不断展开的。通过项目的采集推广策略,提出采集范围、采集内容和对应的质量要求,最终形成形成采集计划。
2.2.1采集计划制定流程
一级进行源头数据的采集,在二级进行管理,需要多专业的参与。
油田数据主管部门根据业务需求、管理规范等制定各二级单位的数据采集计划并下发;各二级单位通过任务管理软件实现对采集点的数据采集任务定义并下发;源头数据采集单位根据自身的实际业务数据,按照采集任务实现数据的采集。其中,需要例如采集计划管理软件、源头采集软件等的支持。
图2采集计划制定流程
2.2.2采集计划下发流程
采集计划以采集任務为单位进行管理,一个采集任务制定一个采集点的某个采集内同。一组采集任务构成采集计划。
源头数据库对数据进行整合,形成元数据库;元数据库将数据传输给服务器以便服务器使用;服务器将采集任务通过互联网、卫星以及局域网创术给采集点;采集点按照计划进行采集。
图3采集计划下发流程
2.2.3配套管理方法
从行政单位的角度,规定各源头采集单位采集流程、职责、采集业务范围(精确到数据表)、采集方式、上报方式等信息采集要求。具体包括:范围、引用标准、采集单位、采集管理流程与职责、数据库的建立与管理、采集方式、上报方式、上报时间、信息采集内容及规定、错误信息更改规定、信息使用权限及安全保密规定、管理规定的实施监督。
2.2.4数据采集考核
(1)源头采集数据的及时性和齐全性考核。
对各二级单位上报的数据进行实时展示,为了让信息中心负责人对源头数据上报情况有良好的把握,提供每个二级单位实时上报的表和数据量,并可以对所有二级单位进行更详细的查询。
(2)源头日常检查日报
对各二级单位上报的数据进行自动汇总,可以对源头数据上报情况有个良好的把握,这是目前源头数据日常维护的主要工作。
2.3 数据质量监控管理
2.3.1数据质量管理流程
数据采集计划制定及下发→源头数据采集、准确性检查、数据上报→二级单位数据检查(包括准确性检查、逻辑一致性检查、数据齐全性检查)、发布数据检查结果→分公司级数据检查(包括齐全性检查、数据质量抽查)、发布数据检查结果→数据应用系统。
图4数据质量管理流程
2.3.2源头数据质量管理内容
(1)齐全性、及时性检查。
根据源头数据采集计划规定的记录量,描述每一数据采集点在当前时段应报记录数量。
(2)逻辑一致性检查。
根据源头数据的逻辑结构定义,对各记录以及记录间相互联系是否一致、有效进行描述。
(3)准确性检查
根据源头数据采集模型的定义,描述每个数据项条包的范围、规范和标准。
用户可以提出新的质量检查需求,管理员采纳后定制规则,新的检查规则可以共享使用。
2.3.3源头数据质量纠错监督
根据数据质量检查结果建立数据纠错跟踪监督日志,对各项质量问题进行跟进性的监督(采用同样的检查规则)。为监督人员提供准确的量化考核信息,并辅助相应的及时通讯手段,让相关数据负责人能够即时了解质量的问题。确保数据质量检查的效果切实有效,逐步提升各级管理用户对数据质量重要性的认识。
2.4数据应用支持
(1)建立源头数据使用网上申请、审核、授权的规范流程和机制。
(2)实现源头数据库数据总量查询和日增量的查询。
(3)为源头数据库的业务应用系统建立数据库用户档案,实现源头应用情况的统计查询功能,染该数据管理部门能够及时了解源头数据看的使用情况。
2.5源头数据资源管理体系的技术架构及开发策略
2.5.1系统技术框架
采用J2EE 4层标准架构实现系统的业务功能,集成了Jave 2平台容易进行新功能的扩展、开发性好的特点;可以不加修改的移植到任何操作系统下运行,可移植性高等优点和特性。
(1)表示层:为最终用户提供内容表示的界面;目前常用的应用是WEB应用和打印服务等,在Internet或Intranet中提供给用户的使用界面。
(2)业务逻辑层:承载用户负责多样的应用程序,通过EJB等中间件完成用户相关的业务逻辑,是系统的核心部分。
(3)数据持久层:链接数据库和业务逻辑层,通过Hibernate等工具实现数据库数据的持久化,将java的JDBC接口封装,实现数据的持久化。
(4)数据库模块:作为最后端的核心应用平台,数据库模块负担着用户最核心的数据库管理系统,或者为用户提供高性能计算的动力源泉。此模块是一个完整信息系统的最核心计算量所在,对故服务器的配置要求较高。
2.5.2系统开发策略
采用“原型-设计-开发”的演进式迭代开发模式进行系统的开发使用。首先进行局厂两级的业务需求调研分析工作,然后进行快速原型设计,通过基于原型的交流,完善系统需求。然后在开发过程中,优先完成部分用户首要注册应用的功能,展示给用户并征求意见,然后逐步完善,最终使项目获得满意效果。
3.结论及展望
通过该系统可以及时有效地掌握油田开发的生产信息,通过良好的业务分析模型整合各类数据形成直观地报表和图表,从整体上提高油田开发监督的经济运行水平。
系统建成后,是信息应用深入到生产业务基层单位,提升分公司开发监督管理水平。本系统实施后,可通过信息技术手段,逐步改善开发监督管理流程,规范开发监督管理行为的同时,各级管理人员能够实时、全面、准确地掌握油田开发生产管理信息,成为管理创新、制度创新的有效手段,促进业务流程再造和资源整合,形成最佳配置,增强分公司的核心竞争力。[科]
【參考文献】
[1]周立宏,陈善勇,曾清斌,等.大港油田分公司"十一五"科技与信息专项规划[R].大港:大港油田分公司,2005:75-76,89-91,96-99.
[2]范建洲,焦建英.企业信息化与数据环境的重建[J].山西建筑,2001,27(1):159-160.
[3]王辉,袁耀岚.加强数据建设服务油田生产[J].数字石油和化工,2008(1):24-28.
【关键词】油田;源头数据;资源管理;体系建设
0.引言
在源头数据的建设成长历程中,伴随着生产管理的需要,以源头数据生命周期模型规划的源头采集等各个软件系统正在日趋调整完善。同时,随着油田信息化建设的不断发展,基于源头数据库应用成果的逐步扩大,源头数据管理也将工作重心转移到以数据质量管理为核心的工作中,面向源头数据管理层面的需求也日益增大。
目前,石油企业及其有关研究人员都还是主要关注数据中心建设,而对于数据资源建设重视程度明显不高,尤其是对于源头数据资源建设。数据作为石油企业的宝贵资源,其质量的高低会对各石油企业的可持续化管理带来重大的影响,如果基础数据质量不高,企业管理、决策和调控的依据必不充足,石油企业信息化建设成效也失去了基础保障。目前,我国大部分石油企业依然是采用追账式数据资源建设模式来完成基础数据资源建设。
因此,本文在对我国石油企业目前数据资源建设现状研究之上,从“油田数字化”建设的思路出发,提出源头数据资源管理体系,以建立稳定的数据基础,为我国石油企业数据中心建设及石油企业整体信息化建设奠定基础。
1.源头数据资源管理体系的概述
为提高应用源头数据的效果,目前,我们需要解决数据标准、采集管理、数据质量、应用支持这四个方面的问题。
(1)数据标准:加强源头数据标准的版本控制,全面掌控源头数据标准的变更、升级情况;对局厂两级库之间进行标准一致性控制;注重厂级单位在局级标准上的扩充情况;为源头应用用户提供详细的标准查询功能;建立完善应用用户与各级管理人员的沟通反馈渠道。
(2)采集管理:加强源点采集计划的两级控制,通过对采集点数据采集入库情况的了解,考核源头数据采集的齐全性与及时性;借助上层的采集计划管理,将目前不同的业务专业采集软件进行有机整合。
(3)数据质量:为了提高源头数据的质量,建立“局厂队”三级质量检查,层层把关;以局级质量检查规则为蓝本,在厂队两级逐级细化丰富检查规则,以业务管理为导向进行深层次的挖掘性检查;制定一套有效的质量检查问题跟踪机制,提升采集效益;建立质量检查规则收集与交流反馈渠道。
(4)应用支持:加强对源头数据的应用支持管理,形成基于源头库相关业务应用系统的审批流程;建立源头数据库用户的档案信息,全面掌握业务相关应用数据字典管理;为源头数据库管理人员提供即时的状况信息(存储空间使用情况、日月度数据增长情况、数据库链接session情况)。
图1源头数据资源管理体系架构
2.源头数据资源管理体系架构
为了数据管理部门能够直观地进行数据资源的管理,以及各种统计查询,丰富原有各类专业软件的应用成果展示,本文建成一套基于B/S浏览器模式的应用系统。
本文所研究源头数据资源管理体系将源头数据资源管理系统分为数据标准管理、采集计划管理、数据质量管理、应用支持管理四个部分(如上图1)。
2.1数据标准管理
源头数据标准是项目建设的基础和关键。因此石油企业应尽快制定统一的标准并严格执行,这是避免信息分散、减少数据“信息孤岛”的有效途径。
2.1.1标准查询管理
标准查询管理为源头数据管理及使用人员提供源头标准的查询功能;管理使用人员可以全面的了解现有源头标准的建设情况(如各专业标准的建设情况,标准项的覆盖情况)。同时,通过标准的数据字典查询,可以了解各个源头数据表的数据项的定义情况;通过附录和单位代码的查询,以及提供对源头数据表相关的数据库对象进行查询,便于管理员掌握标准变更时需要注意的关联对象。
2.1.2 标准发布与更新管理
在标准升级时,对标准的版本进行集中管理,让源头管理人员准确掌握各级源头库标准的变更情况。对于新版标准的发布,形成规范的升级补丁脚本,提供给厂级库(也可以面向采集原点的本地库)。同时对各级源头库的升级情况进行监督,提高源头数据上报的规范性。
2.1.3标准交流与反馈管理
为标准管理部门和标准用户间搭建起沟通渠道,将用户对标准的疑问进行分类管理,由管理人员进行解释答疑,并将标准完善的建议收集上报,提高标准完善的良性发展。
2.2数据采集管理
源头数据采集工作是循序渐进、不断展开的。通过项目的采集推广策略,提出采集范围、采集内容和对应的质量要求,最终形成形成采集计划。
2.2.1采集计划制定流程
一级进行源头数据的采集,在二级进行管理,需要多专业的参与。
油田数据主管部门根据业务需求、管理规范等制定各二级单位的数据采集计划并下发;各二级单位通过任务管理软件实现对采集点的数据采集任务定义并下发;源头数据采集单位根据自身的实际业务数据,按照采集任务实现数据的采集。其中,需要例如采集计划管理软件、源头采集软件等的支持。
图2采集计划制定流程
2.2.2采集计划下发流程
采集计划以采集任務为单位进行管理,一个采集任务制定一个采集点的某个采集内同。一组采集任务构成采集计划。
源头数据库对数据进行整合,形成元数据库;元数据库将数据传输给服务器以便服务器使用;服务器将采集任务通过互联网、卫星以及局域网创术给采集点;采集点按照计划进行采集。
图3采集计划下发流程
2.2.3配套管理方法
从行政单位的角度,规定各源头采集单位采集流程、职责、采集业务范围(精确到数据表)、采集方式、上报方式等信息采集要求。具体包括:范围、引用标准、采集单位、采集管理流程与职责、数据库的建立与管理、采集方式、上报方式、上报时间、信息采集内容及规定、错误信息更改规定、信息使用权限及安全保密规定、管理规定的实施监督。
2.2.4数据采集考核
(1)源头采集数据的及时性和齐全性考核。
对各二级单位上报的数据进行实时展示,为了让信息中心负责人对源头数据上报情况有良好的把握,提供每个二级单位实时上报的表和数据量,并可以对所有二级单位进行更详细的查询。
(2)源头日常检查日报
对各二级单位上报的数据进行自动汇总,可以对源头数据上报情况有个良好的把握,这是目前源头数据日常维护的主要工作。
2.3 数据质量监控管理
2.3.1数据质量管理流程
数据采集计划制定及下发→源头数据采集、准确性检查、数据上报→二级单位数据检查(包括准确性检查、逻辑一致性检查、数据齐全性检查)、发布数据检查结果→分公司级数据检查(包括齐全性检查、数据质量抽查)、发布数据检查结果→数据应用系统。
图4数据质量管理流程
2.3.2源头数据质量管理内容
(1)齐全性、及时性检查。
根据源头数据采集计划规定的记录量,描述每一数据采集点在当前时段应报记录数量。
(2)逻辑一致性检查。
根据源头数据的逻辑结构定义,对各记录以及记录间相互联系是否一致、有效进行描述。
(3)准确性检查
根据源头数据采集模型的定义,描述每个数据项条包的范围、规范和标准。
用户可以提出新的质量检查需求,管理员采纳后定制规则,新的检查规则可以共享使用。
2.3.3源头数据质量纠错监督
根据数据质量检查结果建立数据纠错跟踪监督日志,对各项质量问题进行跟进性的监督(采用同样的检查规则)。为监督人员提供准确的量化考核信息,并辅助相应的及时通讯手段,让相关数据负责人能够即时了解质量的问题。确保数据质量检查的效果切实有效,逐步提升各级管理用户对数据质量重要性的认识。
2.4数据应用支持
(1)建立源头数据使用网上申请、审核、授权的规范流程和机制。
(2)实现源头数据库数据总量查询和日增量的查询。
(3)为源头数据库的业务应用系统建立数据库用户档案,实现源头应用情况的统计查询功能,染该数据管理部门能够及时了解源头数据看的使用情况。
2.5源头数据资源管理体系的技术架构及开发策略
2.5.1系统技术框架
采用J2EE 4层标准架构实现系统的业务功能,集成了Jave 2平台容易进行新功能的扩展、开发性好的特点;可以不加修改的移植到任何操作系统下运行,可移植性高等优点和特性。
(1)表示层:为最终用户提供内容表示的界面;目前常用的应用是WEB应用和打印服务等,在Internet或Intranet中提供给用户的使用界面。
(2)业务逻辑层:承载用户负责多样的应用程序,通过EJB等中间件完成用户相关的业务逻辑,是系统的核心部分。
(3)数据持久层:链接数据库和业务逻辑层,通过Hibernate等工具实现数据库数据的持久化,将java的JDBC接口封装,实现数据的持久化。
(4)数据库模块:作为最后端的核心应用平台,数据库模块负担着用户最核心的数据库管理系统,或者为用户提供高性能计算的动力源泉。此模块是一个完整信息系统的最核心计算量所在,对故服务器的配置要求较高。
2.5.2系统开发策略
采用“原型-设计-开发”的演进式迭代开发模式进行系统的开发使用。首先进行局厂两级的业务需求调研分析工作,然后进行快速原型设计,通过基于原型的交流,完善系统需求。然后在开发过程中,优先完成部分用户首要注册应用的功能,展示给用户并征求意见,然后逐步完善,最终使项目获得满意效果。
3.结论及展望
通过该系统可以及时有效地掌握油田开发的生产信息,通过良好的业务分析模型整合各类数据形成直观地报表和图表,从整体上提高油田开发监督的经济运行水平。
系统建成后,是信息应用深入到生产业务基层单位,提升分公司开发监督管理水平。本系统实施后,可通过信息技术手段,逐步改善开发监督管理流程,规范开发监督管理行为的同时,各级管理人员能够实时、全面、准确地掌握油田开发生产管理信息,成为管理创新、制度创新的有效手段,促进业务流程再造和资源整合,形成最佳配置,增强分公司的核心竞争力。[科]
【參考文献】
[1]周立宏,陈善勇,曾清斌,等.大港油田分公司"十一五"科技与信息专项规划[R].大港:大港油田分公司,2005:75-76,89-91,96-99.
[2]范建洲,焦建英.企业信息化与数据环境的重建[J].山西建筑,2001,27(1):159-160.
[3]王辉,袁耀岚.加强数据建设服务油田生产[J].数字石油和化工,2008(1):24-28.