论文部分内容阅读
大数据时代,使得信息技术(IT,Information Technology)时代来到了数据技术(DT,Data Technology)时代,对数据的存储和管理已经成为数据技术的核心问题。面向数据的体系结构——DOA(Data Oriented Architect)应运而生,它为传统软件设计面对海量数据的挑战提供了一个很好的解决思路。数据注册中心是DOA的核心组件,它对各种类型的数据和广义数据进行登记注册,形成逻辑的数据资源池,方便应用对数据的访问。高频率的数据访问和高速的数据传输,使得数据注册中心在可靠性方面面临着严峻的挑战。针对分布式系统高可用性,目前业界有多种方案。它们的核心思想都是采用备机的方式来预防中心服务器的失效。这样的方案虽然可以在系统发生单点失效时,用备机为客户提供读写服务。然而往往需要人工的干预,及存在数据丢失的可能。因此,需要一个全新的思路来解决分布式系统中的单点故障问题。本文设计的基于一致性选举的双中心服务器数据注册中心机制,有效的满足系统的高可用性。基于Raft算法的多机一致性,解决多机状况下选举问题,并将数据保持同步。针对如何将数据注册中心的请求分发和宕机恢复,设计了三机实现双中心服务器数据注册中心的方法,有效的解决单点障碍和多机状态下的数据一致性问题。具体来讲,本文的主要工作如下:(1)从可靠性和可维护性两方面分析了影响分布式系统高可用性的因素。并按照此思路,调研了目前比较成熟的高可用性解决方案,并通过比较它们各自的优缺点,提出了针对分布式数据注册中心的高可用性方案。(2)研究了目前的分布式一致性算法,最终选用容易结合到实际中的Raft一致性算法,使用Raft一致性算法解决了三机NameNode的选主问题。(3)为了满足数据注册中心的高可用性指标,本文设计了一种双中心服务器的分布式数据注册中心模型,并为此模型设计了相关的数据结构和接口,最后改造了基于单NameNode的通信协议,以适用于三机NameNode的设计。(4)通过对选举方案和高可用性两方面的测试,验证了基于双中心服务器的数据注册中心的高可用性方案的可行性和有效性。本文为分布式数据注册中心的高可用性提供了新的思路和参考方法,同时基于Raft算法的多机选举和数据一致性同步方法有一定的理论和现实意义。主要的成果与创新点如下:(1)提出了一种基于Raft算法的多机一致性。Raft算法解决了多机状态下的选举问题,通过设计一种数据注册中心的数据一致性同步方法,有效的解决了多机状态下的数据一致性问题。(2)提出了一种三机实现双中心服务器数据注册中心的方法。双中心服务器数据注册中心主要解决了单点故障的瓶颈,选举后的Leader使用分布式数据注册中心数据一致性同步方法使每个Name Node上的数据保持一致。