论文部分内容阅读
河湖空间精细化、智慧化管控是当下生态文明建设的重要课题,也是落实河长制,实现可持续发展的必然要求。但是目前各地的河湖管控系统存在功能单一、存储效率低、并发访问能力弱、横向扩展难、数据壁垒等问题,无法适应新时代精细化、智慧化管控的发展要求。
在遥感卫星、传感器监测等技术广泛应用的今天,河湖空间数据呈现指数式增长。这些数据分散在各个系统之中,难以发挥关联性作用。为了有效利用海量河湖空间数据信息,挖掘区域性或全局性河湖生态变化的趋势。需要建设河湖空间大数据存储平台,有效整合各类数据信息,为生态环境管控提供预测性意见,指导相关管理措施的有效实施。
河湖空间中存在海量异构数据,这些数据格式多种多样。如何有效存储和访问这些数据是构建河湖空间大数据存储平台的核心内容。为此本文在已有的研究基础上,结合分布式存储技术,设计相关存储方案,并重点设计实现了平台访问接口。在实现河湖空间数据存储和检索需求的同时,确保系统的稳定性、高可用性以及可扩展性。论文的研究工作主要包括以下几个方面:
⑴以Hadoop、HBase、MongoDB、ElasticSearch等分布式框架为工具,搭建一个具有稳定、可扩展、负载均衡特性的河湖空间大数据存储系统。针对栅格数据的瓦片化存储、检索,以及矢量数据的空间索引等问题,进行存储方案的优化和研究。
⑵将数据按照结构化数据和非结构化数据分类,分别设计并实现相应数据上传、下载以及检索等REST接口。重点研究内容包括:结构化数据存储,遥感影像数据存储与检索,矢量数据存储与空间检索等问题。
⑶平台提供的REST接口采用HTTP协议进行数据传输,并且传输报文以JSON格式存储信息。为了保证前端系统与平台之间数据传输的安全性,设计并实现了一种数据安全校验机制。
⑷对系统的架构方案和REST接口设计进行总结,并针对完善系统功能,提升系统效率的地方提供改进思路。明确下一阶段需要进行的主要工作任务。
在遥感卫星、传感器监测等技术广泛应用的今天,河湖空间数据呈现指数式增长。这些数据分散在各个系统之中,难以发挥关联性作用。为了有效利用海量河湖空间数据信息,挖掘区域性或全局性河湖生态变化的趋势。需要建设河湖空间大数据存储平台,有效整合各类数据信息,为生态环境管控提供预测性意见,指导相关管理措施的有效实施。
河湖空间中存在海量异构数据,这些数据格式多种多样。如何有效存储和访问这些数据是构建河湖空间大数据存储平台的核心内容。为此本文在已有的研究基础上,结合分布式存储技术,设计相关存储方案,并重点设计实现了平台访问接口。在实现河湖空间数据存储和检索需求的同时,确保系统的稳定性、高可用性以及可扩展性。论文的研究工作主要包括以下几个方面:
⑴以Hadoop、HBase、MongoDB、ElasticSearch等分布式框架为工具,搭建一个具有稳定、可扩展、负载均衡特性的河湖空间大数据存储系统。针对栅格数据的瓦片化存储、检索,以及矢量数据的空间索引等问题,进行存储方案的优化和研究。
⑵将数据按照结构化数据和非结构化数据分类,分别设计并实现相应数据上传、下载以及检索等REST接口。重点研究内容包括:结构化数据存储,遥感影像数据存储与检索,矢量数据存储与空间检索等问题。
⑶平台提供的REST接口采用HTTP协议进行数据传输,并且传输报文以JSON格式存储信息。为了保证前端系统与平台之间数据传输的安全性,设计并实现了一种数据安全校验机制。
⑷对系统的架构方案和REST接口设计进行总结,并针对完善系统功能,提升系统效率的地方提供改进思路。明确下一阶段需要进行的主要工作任务。