论文部分内容阅读
随着雷电探测站点的增多以及长期对雷电信息的监测,中心站实时定位系统数据库遇到了新的挑战。雷电数据是进行计算和研究的重要依据,面对突发性强的大规模数据,如果没有高效快速的存取方法将破坏整体后期数据处理的实时性。本文从数据的加载存储、数据库管理组织以及数据备份和恢复等方面来进行研究,保证数据的实时性和有效性,主要内容如下: 第一,实现了数据库的高效实用存储设计。针对海量雷电信息处理的需求,通过分析数据库高速加载工具SQL*LOADER,提出了自动定时批量并行数据加载的方法。首先对数据进行解析,然后实现多级并行加载。整个应用程序在VC平台开发完成,在数据库服务器端自动定时值班。 第二,制定了基于分区的实时数据与历史数据的分离存储策略。当数据对定位计算系统可用后,为减少查询分析中的数据量和实现数据的高效管理,根据数据的保活期将实时数据和历史数据分离,并按照不同的时间粒度进行分区操作。 第三,实现了对数据库性能调整和优化。本文首先对数据库系统随着数据量增大所面临的问题进行了总结,并使用性能监测工具分析数据库运行状态。以此为基础,进行了综合查找分析,主要在SQL语句、磁盘I/O、数据库参数配置和分区转换等方面提出了优化方法和策略。 第四,完成了数据库的备份和恢复设计。通过对数据库备份与恢复方法的研究以及RMAN的工作机制深入分析,提出了雷电数据库在线多级备份策略。根据不同的时间频率和时间点,对不同的数据对象进行自动、增量备份。该方法可以有效的减少数据备份时间,降低备份操作对数据库计算业务的影响。