如何保障实时气象资料的管理

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:rita88ye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  在气象信息系统中,气象数据库系统的构建是其核心和基础,如何把大量的气象资料收集起来,使气象信息系统可以方便、及时、准确地从数据库中获得所需信息?
  今年入夏以来,我国部分城市相继遭受突发性强降雨、雷暴、大风、冰雹等强对流天气的袭击,致使城市严重内涝,交通瘫痪,航班延误,建筑物、广告牌和行道树等遭到毁坏,还造成了人员伤亡和重大财产损失。
  中国气象事业发展战略中明确指出,气象信息系统(气象信息共享平台)的建设是加快中国气象事业发展能力建设的内容之一,其内涵是共享通信网络、共享高性能计算环境和共享数据。在气象信息系统中,气象数据是其核心和基本的组成部分,也是气象信息系统提供服务的主要内容。气象数据的收集、精细化加工处理、质量控制、存储管理、应用服务等方面都是气象信息系统所必备的基本功能。
  气象数据库系统的构建是气象信息系统各个部分能否紧密结合以及如何结合的关键所在。它把气象信息系统所收集的大量数据按一定的模型组织起来,并提供数据存储、维护、检索等功能,使气象信息系统可以方便、及时、准确地从数据库中获得所需信息,是气象数据应用服务系统的支撑平台。
  
  准确预报需建实时气象数据库
  
  气象资料存储检索系统(MDSS)结构示意图
  我国气象事业发展战略对气象信息系统建设提出了明确要求,作为气象信息系统的重要组成部分和天气预报、预警、气象防灾减灾核心实时业务系统的支撑平台,实时气象数据库系统的建设至关重要,国家级气象资料存储检索系统实时数据库系统建设已在国家级实时业务中发挥了重要作用。
  对天气预报、数值预报、气候预测等各项实时气象业务而言,实时气象资料尤为重要,各种实时观测资料从通信系统进行收集后,必须得到有效的存储管理,并提供方便、快捷的共享服务。因此,必须构建一个优秀的实时气象资料数据库系统,为天气预报、预警、气象防灾减灾等工作提供强有力的保证。
  通过构建标准的实时气象数据库系统,国家气象中心建立了以核心气象数据库为基础的业务流程和业务体系,实现了实时气象数据的集中收集、处理和存储管理,方便、快捷地为用户服务。
  在数据库技术出现以前,第一代实时气象数据的存储管理主要基于文件系统方式实现,有代表性的是在国家气象中心分别于1987年在日立公司的M-170上和1991年在DEC公司的VAX-6320上建立的专用的实时气象资料数据库系统。基于文件系统方式的数据存储管理存在许多问题,主要表现在数据冗余量大、共享性和灵活性差、对文件系统的修改维护代价高、难以维持文件间的数据一致性等方面。
  数据库技术的产生和发展,为气象数据的存储管理提供了较好的解决方案。数据库是以一定的方式将数据组织在一起的、为多种应用服务的数据集合。数据库管理系统(DBMS)则是负责数据库的定义、建立、控制、管理和维护的软件系统。数据库系统是计算机系统中引入数据库后的系统构成,即把数据库、有关的硬件、软件和人员组合起来提供信息服务的系统,包含支持DBMS的软硬件环境、DBMS、数据库、用户及其应用程序等。相对于文件系统,数据库系统的优势主要表现在数据的独立性、数据的结构化、数据的共享性、最小的数据冗余度、数据的统一管理和控制、可按标准化的规定实施数据库系统等。
  随着中国气象局9210工程的建设,基于9210气象数据库系统的第二代实时气象资料数据库系统于上个世纪90年代末投入业务运行,这是基于关系数据库管理系统(RDBMS)的真正意义上的实时气象资料数据库系统,已逐步成为国家级核心业务平台,国家级短期、中期天气预报及气候业务均已实现从该系统直接获取气象数据。
  2003年,国家级气象资料存储检索系统(MDSS)开始建设,至今已初具规模。该系统是基于RDBMS的海量气象数据库系统,负责由实时数据库(MDSS-RDB)、综合数据库(MDSS-IDB)、对外共享数据库(MDSS-SDB)三个逻辑数据库构成,其在数据存储内容和时限、系统功能、系统复杂度和应用服务能力等方面远远超越以往的国家级气象数据库系统。MDSS是国家级气象信息系统建设的重要组成部分,是国家级气象数据中心的核心支撑平台,其建设标志着国家级气象数据中心的建设拉开序幕。
  省及以下单位实时气象资料数据库系统的建设也经历了从文件系统管理到数据库系统的发展过程。在上世纪80年代中后期,省一级的基于DBASE的微机数据库系统也相继在一些省气象局开发和推广,后来随着9210工程的建设和9210实时数据库系统的部署安装,全国实时气象资料数据库系统的建设和应用水平得到一定程度的提高。此外,数据库技术对前端应用的良好支持,促成了各种中小规模的实时气象资料数据库系统的蓬勃发展,最具有代表意义的是各种气象网站系统和气象数据Web服务系统。这些系统的建立通常基于Windows、Linux平台及SQL Server、MySQL等中小型RDBMS,系统易于实现和维护。
  
  优化手段保障数据及时入库
  
  实时气象资料数据库系统就是对实时气象资料进行处理、加工、管理并实现资源共享的专用软件系统,具有以下特点。
  资料范围、时段相对固定
  在进行数据库设计时,需要根据实时业务,确定存储管理的资料,根据各类资料特点和使用需求,分别制定在线存储的时限。
  时效性高
  时效包括资料处理入库的时效和查询的效率。由于实时气象资料使用的及时性,需要通过一系列的优化手段,保障通信系统收集到的资料在最短的时间内入库并提供使用。查询的效率也很重要,以气象信息分析处理系统(MICAPS)为例,该系统要求一个时次中国区域的地面资料在0.3秒内返回到客户端,所以在数据库设计时,需要充分考虑数据的存储策略和优化手段,否则很难满足实时业务的需求。
  稳定性高,恢复周期短
  由于气象预报业务是不可间断的,它又以实时的数据为基础,因此要求实时数据库具备很高的稳定性,出现故障时能很快恢复。所以,在系统的架构设计上要充分考虑高可用性,并且系统的整体结构、处理流程要简单,否则会无形中增加很多故障点,也不利于故障时的快速恢复。
  
  当日数据实现逻辑备份
  
  实时库提供的检索方式包括程序调用和人机交互两种方式
  MDSS-RDB的功能包括数据收集/整理、元数据管理、数据处理、数据检索、数据备份/恢复、数据存储管理、系统监视等。
  数据收集/整理
  气象通信系统打包的气象通信文件是综合性文件,每个文件包含多种资料,同一种资料又分散在多个文件中。数据库的处理进程是按资料种类划分的,每个进程都需处理所有文件。一旦某份资料处理发生错误,可能造成其他资料处理无法正常进行。因此,在实时库设计中增加了对通信转发来的数据进行分类整理的功能,以保证系统的稳定性。
  元数据管理
  元数据的管理包括元数据的制作、编辑和维护。在实时库中,所有元数据都采用数据库表的方式来存储管理,除了日期控制元数据信息是动态信息外,其他元数据信息都是静态信息。
  动态元数据的生成是在数据处理入库和清除过程中自动完成的。对于静态元数据,在实时库系统中利用Java开发了一套基于Web的数据库系统维护的管理软件,其中包括元数据信息的生成和维护功能。
  数据处理
  数据处理功能就是对收集来的资料进行一定处理,并以一定的方式存入数据库中。
  对于观测报文资料,数据处理就是扫描通信系统发送来的报文资料目录,进行报文的格式检测、要素译码及质量控制,并将生成的报文及要素插入数据库中。
  对于非结构化数据,数据处理就是扫描系统接收的非结构化原始数据目录及文件,按照各资料的预处理原则,进行文件名检测及转换、资料压缩、索引信息提取等处理,并将处理后的数据以BFILE的方式存入数据库中。
  数据检索
  实时库提供的检索方式包括程序调用和人机交互两种方式,以程序调用方式为主。
  程序调用方式就是调用实时库提供的检索接口函数,通过参数获取所需资料的方式,检索的数据返回到调用程序的内存或用户本地的存储设备中。
  人机交互式的检索方式就是在浏览器上交互地搜索和查询数据,获取各种信息服务。
  数据备份/恢复
  数据备份功能包括物理备份和逻辑备份。
  物理备份就是将数据库运行的相关系统文件、数据文件、日志文件复制到磁带或磁盘中,在恢复时直接将文件导入即可。
  逻辑备份就是将数据库中的数据连带数据结构导出,这种方式对于恢复某个特定的数据库表是非常容易的。
  对实时库而言最重要的就是当天的数据,故障时只要能最快地恢复当天甚至当前时次的资料,就可以满足最基本的业务需要,而且综合库包含实时库所有的资料,因此可以作为实时库的备份库。考虑到实时备份会对系统性能造成一定的影响,因此,在MDSS中将实时库设计在非归档模式下运行。当出现故障时,当天数据的恢复直接从通信文件重新开始处理入库,历史的数据恢复通过每天逻辑备份的数据恢复。
  数据存储管理
  实时库的数据容量有限制,需要具备滚动删除的功能,即把超过时限的数据从库中清除。
  系统监视
  实时气象资料数据库系统的监视包括数据库系统的监视和数据处理流程监视。数据库系统的监视包括数据库管理系统运行状态监视、空间监视和用户行为监视。数据流程监视包括来报数量统计、应到报缺报统计、未处理资料统计、数据入库统计、错报统计、处理进程状态监视、数据备份和清除监视。
  实时数据库的技术实现
  MDSS-RDB的技术实现主要由以下几部分组成。
  数据处理应用的技术实现
  在国家级气象资料存储检索系统实时气象资料数据库系统的建设过程中,注重面向过程的软件开发规范和模块化管理的应用,在处理流程、错报输出、进程功能等方面进行了大量的优化工作,并采用了数据封装技术、链表技术、枚举技术、宏技术等一系列技术改进,使得现有数据处理程序的结构更加合理,代码质量和可读性得到提高,大大增加了系统运行的稳定性和可维护性。
  分区技术应用
  Oracle 9i支持分区技术,将大表或其索引按照某种策略划分成多个相对较小的、各自独立的存储空间,每个存储空间作为分区可被独立地管理和操作。分区对数据存储、检索等应用保持透明性,且在整个表格范围内维持数据的完整性和一致性约束。
  MDSS-RDB采用分区技术进行存储管理,通过对不同分区方案和大表存储的测试对比,最终的分区方案确定为以月或年作为单表存储单位,进而以日或月进行时间范围或列表分区,对地面等访问频度较高的资料则采用了组合分区方案。此外,对索引也进行了相应的分区管理。
  非结构化数据的存储管理
  Oracle 9i对非结构化数据提供BFILE的外部文件管理方式,可以将文件实体存储在操作系统中,而只在数据库内存储数据的元数据(索引)信息,对数据的管理和维护则通过数据库服务器统一进行。MDSS-RDB采用商用数据库复合文件管理模式,即数据库加外部文件管理的模式实现非结构化数据的存储管理,这项技术的应用使得MDSS-RDB可以实现对大量非结构化数据的存储管理和跨平台检索服务。
  检索模板的技术应用
  MDSS-RDB的程序调用式检索采用模板技术,各种资料的检索接口、参数定义和返回数据定义全部由模板实现,确保了同一调用接口实现对不同种类数据的检索功能。模板的使用使得检索接口具有通用性和可扩充性。
  多层应用软件体系的应用
  MDSS-RDB的人机交互式检索、监控系统和元数据管理系统均采用B/S结构的多层应用软件体系结构。表示层即是客户端Web浏览器,是用户接口部分,负责接受用户的请求,并显示应用输出的数据。功能层构建于IBM的WebSphere,是应用逻辑处理的核心,是具体业务逻辑的实现,其处理的数据要从表示层或数据层取得。数据层就是RDBMS,驻留在数据库服务器上,负责管理对数据库数据的存取操作。它接受应用服务器提出的 SQL请求,完成数据的存储、访问和完整性约束检查等。
  链接:实时气象资料对预报贡献最大
  气象资料是开展各项天气预报、气候预测等气象业务和科研的基础,能否拥有丰富全面的气象资料直接关系到各项预报、预测的准确度和气象服务的质量。实时气象资料指的是通过观测或加工所得到的在较短时间内进行传输并使用的资料。
  及时应用
  天气预报是根据对各种天气现象的成因及其演变规律研究所取得的成果,用当前的天气来预测未来的天气。特别对于预报中涉及到的雷暴、冰雹等水平尺度为几公里、时间尺度为几小时的天气现象,需要的观测资料的水平尺度分辩率越高越好,时间间隔越短越好。事实上,最接近预报时刻的观测资料对预报贡献最大,因此预报人员总是希望能及时地得到最新的观测资料。
  分类提取
  气象资料种类很多,但对于某项业务来说,只关心某种或某几种气象资料,而且是一类一类地提取,然后放入各自特定的数学模型中进行处理和综合分析。因此,对于实时气象资料必须进行精心的、分门别类的组织和管理,以满足各种使用的需要。
  批量调用
  气象资料是反映大气状态、天气过程和天气现象的可分析加工的数据,大尺度天气系统的水平尺度可达几千公里,且不受地理区域的限制。为了研究天气现象和大气变化的规律,并以此来预报未来的天气,就必须拥有大量的气象资料,不但要有本地区的,而且还应拥有跨省、跨洲际的资料。因此,一次调用基本上是某一地区的一批资料。
其他文献
中国电信聚类产品框架图  自从果断地投资信息化建设以来,在上海同福易家丽建材市场做石材生意的王老板的业务可谓蒸蒸日上,订单纷涌而至。  为此,王老板满意地回忆说:“半年前,我办了网上商城,经常在网上发布广告来宣传我的企业,效果挺好的。前段时间,我还办了网络传真、企业邮箱、进销存管理,这些都是物业介绍的电信客户经理给我办理的。这不仅实实在在地提高了经营效率,更重要的是给我带来了很多新的客户!”   
传统的分销链之间的关系是一种零和博弈的关系。  目前,许多企业的分销成本已经超过生产成本和产品开发成本,成为企业总体运行成本的第一大构成要素。解决分销成本的控制问题,是目前这些企业的当务之急。    分销成本控制是当务之急    目前国内大多数企业仍然沿用传统的分销链管理模式,许多企业的分销成本已经成为企业总体运行成本的第一大构成要素。  分销链是指产品或服务在从生产者向终端使用者转移过程中所经过
上海嘉扬信息系统有限公司是专业从事人力资源信息系统研究、开发及解决方案的供应商,为客户提供个性化的解决方案。    方案介绍    Kayang Power HR 2000基于B/S(或C/S)结构的设计,既可运行于协作管理的网络环境,又可在单机上操作,真正支持移动办公。  拥有广大用户基础的Kayang Power HR 2000为用户提供量身定制的软件与服务,还提供了功能强大的二次开发工具与接
与很多产品将未知病毒检测作为一种可选的辅助方式不同,安铁诺已经将未知病毒检测和已知病毒检测提升到了同等的高度,甚至一度在产品当中以未知病毒引擎作为主要的检测工具。尽管在一段时间里安铁诺的病毒检测能力曾经不甚理想,但是经过版本更新,安铁诺已经成功融合了已知病毒检测和未知病毒检测两种技术。  在我们的病毒样本检测过程中,安铁诺对我们测试的多种流行的间谍软件、木马程序和骇客工具等都有极高的识别率。当前版
俗话说,距离产生美。然而在IT管理领域,ITSM(IT服务管理)作为一种新兴的管理理念却需要尽快消除与用户间的距离感。  受ITIL(信息技术基础架构库)思想的影响,ITSM自诞生起就成为IT管理领域的新宠儿,众多国内外的IT管理类厂商将ITSM作为目前帮助用户建立科学IT管理架构的指导思想。  然而随着广大用户对自身需求了解得愈来愈深入,如何真正实现ITSM就成为用户们最关心的问题。“ITSM急
内存与CPU之间的配合一直是业界关注的焦点,而大胆启用CPU内置内存控制器的AMD更是引人瞩目。面对即将普及的DDR3,AMD将给出什么样的答案呢?就在所有人疑惑的时候,AMD适时地发布了Socket G3 Memory Extender(G3MX)技术。作为AMD Opteron处理器平台架构基础的一部份,G3MX将会给服务器领域的整体应用带来显著的性能改善。  G3MX技术需要相关主板缓冲器组
网游是一个饱受争议的行业。一方面,它是一个价值数百亿元的大产业;另一方面,它又背上了“精神海洛因”的骂名。绿色、健康的网游如何打造?国学文化能够成为网游的救命稻草吗?  对我国的网络游戏运营商而言,马上将迎来一个异常关键的时刻。7月16日,网络游戏防沉迷系统(以下简称防沉迷系统)将正式投入使用。届时,国内所有网游(包括代理的国外网游)必须增加防沉迷系统,否则将不允许运营。面对即将到来的“生死”大考
3D游戏畅行无阻     朋友出国度假,临走前把他的本本和车暂时寄放在我这儿。因为不会开车,所以那辆本田我就派不上用场了,倒是那款海尔H30可以给我暂时使用一番。抱着“捡了便宜”的心理,我开始拎着这款海尔H30上下班。慢慢地,在使用过程中,我发现了这款电脑诸多与众不同的细节之处。   首先是它的外观设计,黑色的键盘区体现了笔记本惯有的商务气息,顶盖中央的金属拉丝工艺给人非常精致的感觉。由于屏幕中央
随着平安城市建设的深入开展,数量庞大的监控摄像头正在全国各地迅速地部署。以一个典型的平安城市视频监控系统为例,其所包含的前端摄像头数量在几万到十几万只之间,在经济发达的大都市,甚至会达到数十万,如珠三角地区的广州、深圳、东莞等八城市,已累计安装了100万只摄像头。    百万摄像头的难题    这些大量的监控网点建成以后,对管理的需求就突现出来。由于安全监控系统越来越大,涉及的区域及领域也越来越广
成功的销售人员应善于处理与经销商的关系,并实现彼此双赢。  在物质世界,运动遵循着对立统一的平衡规律。在商业世界,厂商间的博弈同样遵循着这个规律,并最终达到彼此双赢的效果。  无论厂家还是商家,其每一项商业行为都必然源自某些动机,这些动机可以是产品、市场、价格等。在销售过程中,销售人员只要抓住客户的动机,就抓住了问题的突破口。  无条件满足客户的需求达成交易并非最佳方案。而通过诉苦、感情投资等手段