TDH集群灾备系统的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:JYCheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在星环的大数据平台TDH(Transwarp Data Hub)的集群上部署有HDFS、Inceptor、Hyperbase等相关工具,为了进一步提高集群的可靠性并减少集群故障时的损失,需要将这些工具的数据同步到备用集群上,这是一种灾备的方式。进行灾备后,在一个集群的工具出现故障无法使用的时候,可以切换到灾备集群处理业务而不需要等待主集群的恢复,使业务能够持续地正常地进行。然而,人工进行灾备较为繁琐,需要操作人员了解各种工具的灾备方式,也不方便设置每天定时执行的数据同步任务。针对以上问题,本文设计开发了TDH集群灾备系统,该系统致力于对集群中的相关工具进行灾备,对灾备同步方案及任务进行统一的管理。TDH集群灾备系统将灾备过程进行封装,让用户不需要了解灾备的具体实现,只需要输入主备集群的必要信息,配置好灾备数据同步方案,就能让系统来实施相应的任务。通过使用该系统,能够减少集群灾备的工作量和学习成本。TDH集群灾备系统使用Spring Boot框架开发后端服务器,使用MySQL数据库存储数据,在开发中使用Gradle管理依赖和构建项目。系统对TDH集群中的HDFS、Hyperbase和Inceptor进行数据备份。系统后端主要分为配置管理模块、方案管理模块、任务管理模块、HDFS同步模块、Hyperbase同步模块和Inceptor同步模块六个模块。本文给出了系统的总体需求分析和设计,描述了HDFS、Hyperbase和Inceptor的灾备任务流程,对各个主要模块的设计和主要功能的实现进行了介绍。目前该系统已经处于预生产阶段,在部门内部进行了使用,并在客户提供的环境中进行了测试。系统性能稳定,能满足用户对TDH集群中部分工具的灾备需求。
其他文献
随着休闲农业在全球范围内被广泛认可与实施,国家“十三五”规划也号召在乡村新建过程中加入特色农业元素,整合乡村特色风貌和资源,展示村民淳朴生活,减缓城市化进程过快带来
青藏高原是全球气候变化的敏感区,其水热条件处于生物生长极限状态,生态系统极为脆弱。研究青藏高原物候及其驱动因子,对研究气候变化下青藏高原生态系统的演变具有十分重要的意义。采用2001-2018年的MODIS NDVI数据集,利用Timesat3.1平台中提取植被物候生长季开始时间(Start of growth season,SOG)、生长季结束时间(End of growth season,EO
目前,土壤侵蚀作为土地利用/覆被变化(LUCC)引起的主要环境问题之一,是自然环境和人类活动长期相互作用的结果。岷江上游作为长江上游重要的支流,位于青藏高原东缘,生态系统尤其脆弱。尤其在经历了2008年汶川地震后,岷江上游的土壤侵蚀程度日趋严重。因此,研究岷江上游土地利用变化与土壤侵蚀及两者之间的相关性具有重要意义,可为制定科学合理的土地利用方式以防止该地区水土流失工作的展开提供科学依据。本文结合
在当前市场经济发展态势下,零售企业发展到一定规模后,大都采取连锁经营模式,并以此在激烈的市场竞争中占据市场份额,形成良好的经营业绩。以本文所探讨的区域连锁零售企业JJY公司为例,在线上商城和线下连锁实体店竞争的新形势下,区域连锁零售业如何突围、超越,实现健康、科学、有序发展,其中所涉及的战略规划这个课题非常值得研究。本文运用定性分析和比较分析的方法,在企业发展战略指导下,对JJY公司发展战略问题进
随着无线保真技术(Wireless Fidelity,WiFi)的普及,基于WiFi的室内定位技术成为热门研究课题。其中位置指纹法被广泛的研究和采用。本文对WiFi室内位置指纹定位技术中的定位算法进行了深入研究。经研究发现,传统的室内位置指纹定位法易受到室内环境及定位场景的影响而降低定位精度和算法稳定性。为此,本文提出以下优化算法用以提高定位精度及算法稳定性。基于接收信号强度指示(Received
我们中华民族历史悠久,拥有五千年传承积累下来的传统文化和传统美德,中华文化独一无二的理念、智慧、气度、神韵,让中华儿女的心中能够拥有更多的自豪感与自信心。当下,中国的传统文化已经遭受了多种西方文化的侵害,特别是西方国家的文化冲击,在这种冲击下有人便开始用“反传统”,“批判传统”的目光来审视中华传统文化。以至于当今很多人对中华优秀传统文化知之甚少,在不知不觉中丢掉了自己的文化精华。习近平总书记在党的
目前,我国消费水平正处于新一轮的消费升级时期,实现消费升级,意味着我国消费水平上升到了更高层次,也意味着消费对我国GDP增长的贡献率进一步增大。而实现旅游消费升级,就能够带动其产业链上相关的食、住、行、游等一系列行业的发展,刺激游客对住宿、购物、游玩等各个层面的旅游消费需求,从而带动经济全面增长。当前我国正处于经济新常态的背景下,促进我国旅游消费的升级,将有助于扩大内需,促进国民经济全面增长。互联
企业职工体育锻炼情况是一个国家国民体育开展情况的一个体现,也从侧面反映了国家相关法律法规的落实情况。目前随着我国经济的不断发展,非公有制企业不断的发展壮大,企业职工体育锻炼意识逐渐提高,但企业职工在开展体育锻炼的过程中出现了体育的功能被削弱,职工体育锻炼的需求得不到满足,职工体育锻炼的质量和科学性有待提高,因此,本文拟在结合调查锦州市阳光能源有限公司职工体育锻炼的数据,分析总结出职工体育锻炼的特点
随着我国火力发电机组装机总容量的增加,以及国内民众环境意识的加强,我国NOx的排放标准要求势必会进一步提高。选择性催化还原法(SCR)脱硝技术因其脱硝效率高、二次污染小、技术成熟等优点被广泛使用,然而传统的SCR系统控制策略虽然能起到一定的作用,但在快速性和准确性上无法满足现场的实际需求,研究SCR脱硝系统的数学模型及控制策略可以为电厂实现氮氧化物的达标排放提供技术手段,对改善现场控制效果较强的应
纳米氧化铈(CeO_2)由于具有Ce3+/Ce4+混合价态以及丰富的氧空位,对能诱导多种疾病的活性氧(ROS)有较强的清除能力,在生物医学中有良好的应用前景。目前普遍采用湿化学法合成氧化铈,这些方法需要使用多种有机溶剂,且步骤繁琐,只适合用来少量制备。而其合成的粉体往往结晶度低,需要热处理后才能使用。与湿化学法相比,高温法能够连续合成结晶度高的纳米颗粒,并且其合成过程简单,能够大规模合成粉体。在高