河湖空间大数据存储平台设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lsh123456lsh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
河湖空间精细化、智慧化管控是当下生态文明建设的重要课题,也是落实河长制,实现可持续发展的必然要求。但是目前各地的河湖管控系统存在功能单一、存储效率低、并发访问能力弱、横向扩展难、数据壁垒等问题,无法适应新时代精细化、智慧化管控的发展要求。
  在遥感卫星、传感器监测等技术广泛应用的今天,河湖空间数据呈现指数式增长。这些数据分散在各个系统之中,难以发挥关联性作用。为了有效利用海量河湖空间数据信息,挖掘区域性或全局性河湖生态变化的趋势。需要建设河湖空间大数据存储平台,有效整合各类数据信息,为生态环境管控提供预测性意见,指导相关管理措施的有效实施。
  河湖空间中存在海量异构数据,这些数据格式多种多样。如何有效存储和访问这些数据是构建河湖空间大数据存储平台的核心内容。为此本文在已有的研究基础上,结合分布式存储技术,设计相关存储方案,并重点设计实现了平台访问接口。在实现河湖空间数据存储和检索需求的同时,确保系统的稳定性、高可用性以及可扩展性。论文的研究工作主要包括以下几个方面:
  ⑴以Hadoop、HBase、MongoDB、ElasticSearch等分布式框架为工具,搭建一个具有稳定、可扩展、负载均衡特性的河湖空间大数据存储系统。针对栅格数据的瓦片化存储、检索,以及矢量数据的空间索引等问题,进行存储方案的优化和研究。
  ⑵将数据按照结构化数据和非结构化数据分类,分别设计并实现相应数据上传、下载以及检索等REST接口。重点研究内容包括:结构化数据存储,遥感影像数据存储与检索,矢量数据存储与空间检索等问题。
  ⑶平台提供的REST接口采用HTTP协议进行数据传输,并且传输报文以JSON格式存储信息。为了保证前端系统与平台之间数据传输的安全性,设计并实现了一种数据安全校验机制。
  ⑷对系统的架构方案和REST接口设计进行总结,并针对完善系统功能,提升系统效率的地方提供改进思路。明确下一阶段需要进行的主要工作任务。
其他文献
超级电容器作为一种新型储能设备,在微电网、电子设备、电力运输等领域得到了很好的应用,但较低的能量密度制约了它的发展,因此迫切需要找到合适的电极材料。金属有机骨架材料是一种比表面积高、孔径可调控的多孔晶体,非常适合作为超级电容器的电极材料进一步提高其能量密度。目前,关于提升导电金属有机骨架材料电容性能方面的研究还较少,通过更好的合成方案,可以制备出结构特性更好的材料,进而提升材料的电导率和电容性能,
学位
随着越来越多的公司的成立,必不可少的就是财务人员整理发票信息,人工整理既费时又费劳动力,准确率还不是很高,并且发票还需要进行管理,纸质的发票难以长期管理,造成一定的影响。此时基于光学字符识别技术的发票验证系统能够大大减轻公司负担,并且能够加快财务人员的工作效率。针对这一问题,主要从扫码识别模块、拍照识别模式、支付模块以及模型模块实现发票验证系统。首先通过对光学字符识别技术以及发票识别的国内外现状进
学位
光电催化技术在废水中有机污染物的处理方面有着广泛的应用,其中阳极所用的光催化材料的选择对提高光电催化效率至关重要。本文采用不同的方法将WO_3与其他半导体复合制备了Bi_2O_3-WO_3,WO_3-Cu_2O膜电极,通过扫描电子显微镜、X射线光电子能谱、X射线衍射、紫外可见漫反射、光致发光光谱以及各种电化学方法对所制备复合膜的形貌、结构以及各种光、电性质进行了分析,并研究了所制备膜对有机污染物的
学位
核动力是一种利用可控核反应产生能量的新型能源,在对于人类未来发挥着巨大意义的同时,也无时不刻地威胁着人类的安全。在核事故发生的时候,专业熟练的医学应急处理能够最大程度挽救现场人员的生命,而这就需要在平时对特定核事故场景进行熟悉和反复练习。只有充分提升应急救援人员的应对能力,才能够在事故发生时发挥出高效性和有序性。经过深入的用户需求分析,本系统采用核事故发生到伤员救治完成的事件发展顺序为线索,综合模
学位
黑臭水体是我国目前急需解决的水环境污染之一,其底泥中累积大量有害物质,成为水体长期黑臭一个重要污染源。目前对黑臭水体通常采用清淤来削减内源污染,但是清淤后的底泥如果不经三化(即干化、稳定化和无害化)处置,可能会存在二次污染的风险。因此,对清淤的黑臭底泥进行合理处理至关重要。本课题组前期分别采用化学法和生物法对黑臭底泥进行处理,对有机质和总氮(Total nitrogen,TN)均取得了较好的处理效
学位
换向器是电机的关键部件之一,加工质量要求高,市场需求大,而人工质检存在速度慢、成本高、检测标准受员工主观影响大难以量化等问题,基于机器视觉的自动检测可弥补其弊端。但实际生产工况的波动对换向器成像特性造成影响,导致图像灰度、边缘等特征的分布离散性较大,前期研究人员基于独立实验台提出的检测算法在实际生产中误报率漏报率波动大,适应性差。对此,本文设计了一套可适应实际工况波动的换向器钩缺陷检测系统,主要内
学位
为了满足全球各部门的用电需求,大量传统化石燃料的燃烧,导致二氧化碳排放增多,引发了全球变暖等一系列环境问题。吸附式热泵可以利用低品位热能作为驱动力实现制冷,且循环工质对环境无害,是替代传统压缩式制冷系统的节能减排新技术,具有极好的应用前景。目前,吸附式制冷系统的性能系数COP_C远小于压缩式制冷系统,能源利用率不高,限制了其大规模的商业应用。传统吸附剂如沸石和活性炭等由于其吸附量低或吸附热过高而导
学位
随着互联网与科学技术的发展,医疗行业的转型与创新得到推动,“智慧医疗”应运而生。而实现智慧医疗的关键在于研制出家庭化、便捷化的医疗监测设备,直观地展现受测者的生理参数,并及时地诊断受测者的健康状况。电学传感器在健康监测方面已经有了深入的研究,而电磁干扰、寿命短、易腐蚀的缺陷限制了电学类传感器在长期健康监测方面的应用。光纤传感器具有柔韧性好、体积小、重量轻、耐腐蚀、抗电磁干扰的特点,因此在健康监测方
学位
人力资源管理是铸造企业经营管理中非常重要的一环,铸造企业往往选用通用性人力资源管理系统。然而当前功能丰富的通用性人力资源管理系统二次开发性差;缺乏职业病防护、特种岗位持证上岗等铸造专业性业务管控模块;且不与铸造ERP系统及考勤打卡机系统集成,致使各系统数据冗余、不一致、维护难度大。为此,本文基于课题组已有的柔性化铸造ERP系统(华铸ERP)平台,设计并开发了一套铸造企业专用性人力资源管理系统,并应
学位
随着互联网技术的发展,电子支付逐渐开始取代传统现金支付,电子钱包为个人、企业以及社会提供更便捷的支付方式,但是电子钱包存在着极大的安全隐患和诸多瓶颈。同时,近年来,随着区块链技术的兴起与成熟,其去中心化、去风险化、不可篡改等特征为支付钱包的发展提供了新的机遇与发展前景。Fabric作为一个领先的商业区块链的联盟链结构,为更快更高效地开发企业级区块链项目提供了可能,可以简化商业支付流程,创建商业信任
学位