【摘 要】
:
随着互联网产业的迅猛发展,数据呈爆炸性增长趋势,海量数据的处理对计算能力的要求远远超出自身 IT架构的计算能力,云计算的概念应运而生。作为云计算的关键技术,云数据管理为业
论文部分内容阅读
随着互联网产业的迅猛发展,数据呈爆炸性增长趋势,海量数据的处理对计算能力的要求远远超出自身 IT架构的计算能力,云计算的概念应运而生。作为云计算的关键技术,云数据管理为业界带来巨大的潜在商用价值。如何对云数据管理平台上的海量数据建立合理的索引机制以实现云数据的高效查询处理,满足用户的实时性需求,是一个亟待解决的问题,也是近几年的研究热点之一。 目前,在云数据管理研究中,已有一些索引的相关工作,这些工作主要是考虑数据本身的特性,建立传统的一维索引或是多维索引。它们没有考虑实际云存储系统中的数据分布和存储特点。本文根据云存储系统中实际的数据特点,提出了两种索引结构。 根据实际云存储系统中的属性特点,本文将属性列分为两大类:rowkey和nonrowkey。rowkey是独一无二的标识属性。所有的除rowkey以外的属性列都是nonrowkey列,它们随机的分布在表中,并且含有重复值。 针对rowkey查询,提出基于多备份的云数据索引方法RBX。一方面,利用云数据管理系统中rowkey的分布特性建立RBX索引快速的进行查询的定位,减少了不相关块的扫描时间;另一方面,在主节点上维护块的备份信息,对各个块的子查询进行合理的调度,提高了查询的并发度、保证了系统的负载均衡性,进而提高了查询效率。 针对nonrowkey查询,提出了nonrowkey与其对应 rowkey的映射索引关系MRBSX。该索引能够快速的定位满足查询条件的nonrowkey所对应的rowkey集合。然后根据该rowkey集合,基于RBX索引进行实际的数据读取。 最后,在hadoop云平台上进行了丰富的实验。通过实验,验证了本文提出的索引结构的有效性。
其他文献
海洋船舶在生产活动中产生了大量的时空轨迹数据,海量的船载AIS系统时空轨迹数据集合中蕴含着大量的船舶交通行为特征,在进行轨迹信息挖掘时存在诸如海量数据、数据缺失、数据
随着互联网技术的发展和计算机的普及,人们越来越多的产生了大量的个人信息,包括短信息,照片,视频,email,联系人,blog,文档等。人们迫切的需要有一个方便易用的系统来管理和
本文在概括介绍Voronoi图与Delaunay三角化的基础上,引出Power图和限定Voronoi图,针对Power图和限定Voronoi图现有生成算法中存在的缺点,对Power图和限定Voronoi图生成技术进行
近年来,工业检测、模具设计、加工制造、医疗诊断、虚拟现实等产业的发展极大地拉动了逆向工程技术的应用需求。依托计算机实现的三维测量用以快速准确地获取自由曲面的立体尺
随着计算机技术的不断发展,人们对计算机的依赖越来越大。然而,在计算机迅速发展的同时,服务器的发展速度却不尽如人意。同时,网络技术在世界范围内得到迅猛发展,Internet给
融合通信是下一代网络技术发展的典型应用,随着近年来融合通信业务的飞速发展,融合通信巨大的市场潜力吸引了众多的设备商、运营商以及软件开发商,众多融合通信产品也如雨后
城市化在给人类社会发展增添新的活力和新的机遇的同时,也给城市带来了很多不确定的危险源与致灾因素。随着这些危险源与致灾因素的不断增长,必然导致城市重大突发公共事件的不
热点事件是人们关注的重要信息。随着互联网的发展,Web数据,比如新闻网站或者微博网站,已经成为人们获取热点事件信息的重要数据源。因此,在互联网环境下进行事件侦测和话题追踪
网络融合是电信网络发展的必然趋势,其中用户数据融合是网络融合中的关键。跨网络,跨业务融合统一的用户数据是提升用户体验的基础。用户数据融合是以用户为中心,结合用户所
随着相关硬件和软件技术的发展和突破,VoIP得到越来越广泛的应用。VoIP简而言之就是将模拟声音讯号数字化,其最大的优势是可以广泛利用Internet和IP环境资源,提供多样化的业