基于JDBC的数据库高可用和可扩展集群中间件

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:ganggang821010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文为了提高在线事务处理系统对数据库高可用性和高可扩展性的迫切需求,在现有关系型数据库的基础上通过将数据库分片技术与数据库复制技术相结合的方式来提高整个系统的扩展性与可用性。该系统首先将整个数据库分割成多个分片,每个分片包含多个副本构成一个单独的数据库集群。   在数据库分片方面,本文针对目标应用场景联机在线事务处理系统的3大特征采用了现有的基于数据库模式层次的数据库分片策略。该分片策略的基本思想是:针对树型数据库模式(数据库模式只包含l对1或l对多的关系),树中所有的数据都按照根节点对应的表的主键进行分割;而对于少数只读的数据量较小不满足树型结构的表(与树型结构中的部分表成多对多的关系)进行复制使得其在每个分片上保留一个完整的副本。与通常的表层次的数据库分片策略(每张表都有其各自独立的分割键)不同,数据库模式层次的数据库分片策略在分片时考虑了联机在线事务处理系统事务数据访问的特点。从而能够尽最大可能的将同一个事务所要访问的数据划分到单一的一个分片上。这也意味着数据库模式层次的分片策略能够将由于分片产生的分布式事务的数量最小化,从而避免同步分布式事务所带来的开销。此外,为了保证分片的均衡性与避免往分片系统中添加或删除数据库节点所带来的一系列不必要的麻烦,本文采用先将整个数据库分割成多个虚拟分片,然后再将虚拟分片映射到数据库节点的方式。与此同时,为向客户端应用隐藏分片的复杂性,该系统在采用了基于JDBC代理的方式拦截所有客户端发送给数据库服务器的SQI。请求,并在客户端与后端分片之间增加了额外的一层(SQL Router)来将后端的多个分片虚拟化成单一的逻辑数据库。   在数据库复制方面,本系统采用现有的数据库集群解决方案。与此同时,为了隐藏整个集群的复杂性,本系统在每个分片所对应的集群上设计了一个负载均衡器。该负载均衡器支持多种可配置的负载均衡策略(轮询、基于权重的轮询、最少请求优先法、随机算法以及冲突感知的负载均衡算法GBCA-Eraph-Based Conflictt-wareLoad Balancing A1gorithm)。其中GBCA算法是本文专门针对基于认证的数据库复制协议事务回滚率很高的问题而提出的一种基于图的冲突感知的负载均衡算法。该算法的基本思想是对于更新事务,GBCA将系统中所有的事务及其事务间的冲突关系建模为图;然后用图的分割算法对图进行一个均衡分割,在分隔的同时保证切割的边的权重之和尽可能的小;最后,负载均衡器按照分割的结果对事务进行分发。图的分隔要实现两个相互冲突的目标。其一是尽可能对图进行一个均衡的分隔。这一目标相当于实现集群中各节点负载的均衡性;其二是尽可能的保证切割的边的权重尽可能的小。这一目标相当于实现了尽可能的将相互冲突的事务分发到少数几个节点上。也就是说GBCA能够在保证负载均衡的情况下,将相互冲突的事务分发到同一个数据库节点上,从而降低整个集群事务的回滚率。此外,为了避免由于将相互冲突的事务聚集在少数几个数据库节点上而导致的抖动现象,GBCA在集群中的每个数据库副本上采用了一种现有的冲突感知的数据库负载控制技术来避免抖动现象。
其他文献
网络虚拟化技术作为解决当前Internet日益僵化问题的一种新兴技术手段,近年来得到了国内外未来网络技术研究领域的广泛关注。网络虚拟化技术是指通过虚拟化技术将物理网络抽象
该论文分析了多媒体网络教学与管理系统以及Linux操作系统的特点和现状,并对Linux下的软件开发环境进行研究分析,对采用Linux下的一种数据库管理系统MySQL、Linux下的网络编
随着云计算技术的进一步发展,云计算技术的应用越来越普及,很多企业和组织考虑将其现已拥有的IT基础设施转移到云计算环境中,以求降低IT基础设施建设的投入和维护管理的成本。为
随着互联网技术的发展和普及,潜藏在使用率最高的互联网应用-搜索引擎背后的无限商机正吸引着无数的电商和企业业主,搜索引擎营销应用而生。竞价排名是通过向搜索引擎购买关键
随着国家信息化水平的不断提高,特别是互联网技术的飞速发展,数据库系统的应用越来越广泛。然而数据库系统的数据集中存储与广泛共享的特性,使得数据库系统的安全性问题变得
移动通信技术的不断发展和智能手机的日益普及,开发面向手机的各种增值业务成为当今关注的热点。从我国电信业务发展现状分析,语音业务作为最重要的基础电信业务一直是人们实
随着计算机软件的不断发展,尤其是数据库软件和Web用字符串在软件程序中扮演的角色日益重要。与此同时,针对字符串的程序分析-字符串分析,也取得了长足的发展,并在软件验证等
目前,无论是电信运营商、政府、教育行业还是企事业单位,由于缺乏有效的保护手段,会经常受到各种不良信息的侵害,承受了巨大的损失。针对以上问题,本文提出一种基于ATCA和多核处理
随着计算机硬件的快速更新换代,尤其是可编程图形处理单元GPU的诞生,软件产业发生着翻天覆地的变化。这种变化尤其体现在目前的计算机图形学领域。其巨大的影响力不但深入到
突发事件都具有随机性、突然性和危害性的特征。在互联网环境下,突发事件网络信息通过新闻、评论、发贴、回复等形式反映出来,具有传播快捷、信息多元、方式互动等显著特点,这使