论文部分内容阅读
伴随我国智能变电站和相应的监测体系不断成熟和完善,产生的电力数据在数量方面大大提高,海量的数据存储和复杂的数据类型使得传统的数据管理模式很难满足电力领域对于数据存储和管理的要求。为使智能变电站高效、稳定的工作,同时实现站内外各类数据的统一管理,需要构建智能变电站信息一体化平台来提高站内各个部门交流与合作,并且基于大量监控数据的存储和管理来为领导层辅助决策。因此,构建新型的智能变电站数据管理系统,以满足企业在海量状态信息存储与查询分析的需要具有重要的意义。同时,Hadoop、No SQL等大数据相关技术的快速发展,为支持海量数据存储、快速检索的智能变电站数据管理系统的研发奠定了坚实基础。本文的具体研究内容如下:(1)针对智能变电站数据特点将数据整理为结构化、半结构化、非结构化三种类型,分别对不同类型的数据设计管理模式,研究变电站在线监测数据的故障诊断框架和方案;(2)设计基于Hadoop的智能变电站数据管理系统总体框架、数据流转过程、存储和检索功能,基于信息融合对变电站故障设备进行精确分析,基于关键词提取设计变电站文献关联检索;(3)在信息一体化平台的基础上开发基于Hadoop框架的智能变电站数据管理系统,采用分布式文件系统(HDFS)和HBase数据库对数据进行分布式存储和管理,并行计算框架Map Reduce作为海量数据查询分析的计算模式,利用Java语言实现B/S模式的智能变电站数据管理系统;(4)使用真实的变电站运行监测数据进行系统测试,分析系统的存储性能、查询性能、读写延迟对比、分布式索引对比。基于Hadoop的智能变电站数据管理系统可以实现变电站各类信息的存储和管理,包括变电站运行数据、在线监测数据、设备管理信息、故障处理报告等。数据的录入既可以手动输入也支持批量导入,管理的数据类型包括结构化数据、半结构化数据和非结构化数据,文档管理中可以自动生成关键词进行存储,便于操作人员快速的检索和读取。利用Hadoop集群对不同规模数据集进行集群I/O性能测试、多维数据查询与分析,测试结果表明该系统能够合理的发挥出Hadoop在分布式存储和计算方面的优势,完成对智能变电站各类业务信息的稳定保存和快速检索等管理功能,不仅极大的降低了运维成本,而且在系统稳定性、扩展性等方面具有明显优势,能够满足大规模智能变电站数据存储查询的需要,同时也为电力系统信息化的建设进行了有益探索。