云GIS框架下的数据管理与并行处理关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:soochow_deer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
与信息系统其他领域相比,地理信息系统具有显著的数据密集、计算密集特征,这些特征与云计算提供的存储和计算优势有非常高的吻合度。基于云计算技术体系,实现地理空间数据的存储与分析处理,由云计算平台提供强大的计算和存储资源,可以有效解决GIS应用中数据存储、管理、计算、传输中的诸多问题,因此云计算与GIS的结合也成为GIS领域里最令人关注的技术方向之一。  云GIS的核心特征是海量、自治、稳定与高性能。本文以云计算相关理论为基础,结合了GIS数据模型与计算方法,对云GIS平台中的分布式存储、空间数据互联互访、空间数据并行处理框架和空间信息服务智能集群等技术展开了研究和应用实践,具体包括:  1)分析了云计算应用于GIS的关键技术。虚拟化是云计算的基础核心技术,体现为计算资源虚拟化、存储资源虚拟化和网络资源虚拟化,通过虚拟化可以将计算资源切割为更小的单元,结合具体的空间数据处理或存储任务,实现资源优化组合。动态迁移可以实现不同服务器节点之间的资源负载均衡,当中心总体负载偏低时可以挂起空间数据处理的节点以实现降耗节能。分布式存储可以将原来存储在单一存储设备上的海量空间数据分布到多台存储设备或服务节点上,减少数据I/O瓶颈并可通过冗余备份提升数据安全性。消息服务总线打破了传统的主从架构并行计算框架,使得并行计算任务可以分布到更多的节点,以缩短空间数据处理周期。  2)实现了符合云GIS平台系统框架的相关软件。云GIS平台软件总体分为云GIS软件和端GIS软件两大部分。云GIS软件运行于云服务器,由空间数据访问与管理模块、空间数据查询分析与处理计算模块、空间服务发布模块、消息服务总线、监控运维模块、服务分发加速模块和空间信息服务门户构成。端GIS由运行于各种终端设备上的GIS应用软件构成,包括组件式GIS开发平台、桌面GIS、浏览器端SDK、移动终端开发平台及移动终端GIS应用系统等。  3)针对目前海量地图切片组织管理存在的问题,设计了可扩展的空间数据分布式存储系统和集群虚拟存储系统,实现了海量空间数据的高效存储与管理,提高了系统的灵活性和可靠性。研究提出了一种开放式空间数据互联互访接口标准(OGDC),实现了高效的数据交换和访问,形成了国家标准(GB/T30320-2013)。并提出基于状态转移向量矩阵方法,改进了Hilbert编码算法,提高了性能。  4)空间数据具有数据密集、计算密集的典型特征,要对海量空间数据进行处理需要耗费大量的时间,且空间数据处理难以实现断点续算,一旦出现问题导致处理中断,往往需要重新开始,导致大量的时间浪费和人工浪费。本文提出了一种空间数据并行处理框架,改变了传统主从架构中自上而下进行任务分配的工作流转模式,基于消息服务总线,建立了自下而上任务竞争式的分布式并行处理架构。  5)以集群技术为代表的高可用性技术是企业级服务系统的关键技术之一,本文分析了冗余集群技术及无冗余集群技术对高可用性服务的影响,并在此基础上提出了分布式异构智能集群技术,可根据负载压力弹性调控集群节点数量以支持不同并发数量,并可自动实现集群节点间数据的推送和同步,降低GIS云服务中集群部署和运维的工作量。  通过关键技术的分析及相关模块的实现,本文集成研发了云端一体化的云GIS平台软件,通过构建云GIS私有云环境,实践海量空间数据处理过程,采用分布式并行处理框架完成地图数据切图,并构建集群环境发布GIS服务,支撑多用户的并发访问。通过在卫星遥感影像领域和国土资源领域的综合应用实践验证了云GIS平台的技术可行性及先进性。  本文提出的云GIS平台体系架构可以满足云GIS应用场景的需求,部分算法和研究成果在超图GIS平台软件(SuperMap GIS7C)中得到应用。
其他文献
中国是一个诗的国度,有着几千年的诗词文化积淀,诗词是中華文化遗产中不可忽视的一部分。那么,怎样更有效地让学生在中国古典诗歌中汲取营养,提高学生的语文素养,达成古诗词教学的最优化,笔者最近参加了咸宁市高中语文优质课竞赛,在听完了参赛教师的讲课后,有了一些想法和感悟,并以这些课为例,做了一些探索。笔者认为语文教师要引导学生去反复吟诵古诗词,披文入情,感受诗词的内在情韵;要指导学生依托诗词意象,体会感受
期刊
学位
土地利用变化引起的土壤C02排放的增加越来越受到科学界的关注,因为陆地生态系统中,2/3以上的碳储存在土壤中。作为陆地生态系统中向大气中输送碳的主要途径和陆地生态系统碳
作物根部残留物是形成土壤有机质的主要来源之一,因此,准确预测作物根系生物量可以为土壤固碳研究提供关键数据,对评价农田生态系统碳源汇功能具有重要意义。根系生物量研究中最
城市地貌学是研究城市地貌环境的形态、成因、结构和分布规律,研究城市中人类活动与城市地貌环境相互作用规律的一门科学.随着城市化的不断加速,城市中人类活动产生的反馈效
主体功能区是我国新时期针对国土空间有序合理开发提出的区域协调发展新理念。“建立覆盖全国、统一协调、更新及时、反应迅速、功能完善的国土空间动态监测管理系统,对主体功
学位
本文选取南岭东部江西定南大湖湖沼相沉积K02孔为研究对象,对该孔22种微量元素的含量变化以及微量元素比值La/Y、Zr/Rb、Ni/Co,Ni/V,Cu/Zn进行了研究,探讨该地区湖沼相沉积微量元
全球和区域变暖已经得到国际大多数学者的公认。气温升高可能会导致蒸散发的增加,然而在全球气候变暖的趋势下,却发现了全球蒸发皿蒸发量及潜在蒸散发在减少的现象,从而引发了不
期刊