HBase非主键属性索引方法及实现

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:MSYANXU
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,互联网正朝着移动化进一步发展,社交网络等新兴内容也在不断兴起,人们可以很方便地获取到想要的信息。正是随着上述新兴内容的不断发展,业务的形态变得多样化,每天产生的数据也越来越多。大数据有着不可估量的价值,数据间的关系也在企业的运营、决策中发挥着重要作用。所以研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力,成为一个亟待解决的问题。然而,在大数据以及高并发的数据读写请求的背景下,传统的关系型数据库瓶颈凸显,已经无法满足需求。而NoSQL即非关系型数据库能很好地解决上述问题,其中HBase(Hadoop Database)是一个典型应用。HBase为大数据的存储管理和查询分析提供了高效的技术和平台。虽然HBase提供主键的高效检索,然而其对非主键属性检索的支持并不是很理想,这导致了HBase的非主键属性查询效率较低,难以满足数据实时或准实时的查询需求。为此,提供HBase的面向非主键属性的高效查询,是目前HBase急需研究和解决的一个重要问题。论文对HBase非主键属性索引方法进行了深入研究,提出了一种分层式索引,其索引存储模型共分为两层。首先是第一层索引,实现基于HBase区域观察者模式的协处理器的第一层索引,索引结构采用改进的d-left计数布隆过滤器。通过第一层索引可以避免不必要的数据扫描和比较从而快速定位存储目标电子邮件数据的相关区域。其次是第二层索引,实现基于HBase区域观察者模式的协处理器的第二层索引,索引结构采用倒排索引。通过第二层索引在第一层索引定位的相关区域中继续查询目标电子邮件数据。最后,论文实现了该分层式索引并且经过试验证明,该分层式索引能有效地满足海量邮件分析应用中对非主键属性的查询需求。
其他文献
随着现代化城市的不断发展,人们的生活水平也在不断提高,人们对环境进行资源索取的力度也在变得越来越大,这种现状使得我国的很多资源都面临着枯竭的危险,为了能够改善我国现有的
现在经济发展水平不断提高,我国供暖管道技术方面也已经得到了一定的突破。管道施工质量可以给整个城市的供暖系统造成影响,但这项施工难度较高,并且较为复杂,这就需要设计人员和
为了保证高层建筑地基结构有良好质量,应认识到建筑基础对于高层的重要性,并能结合实际的高层地基结构需要以及桩基础建造工艺特点,制定相应的桩基础建造方案,促进高层建筑安全质
在构建高层建筑时,设计者首先需要确定其主体结构的外在形式以及建设方式,如果建设情况比较特殊,还需要通过构建转换层来确保建筑结构的合理性。在建设主体结构与转换层时应用到
现在我国科学技术发展水平还在不断提高,各项基础设施和人们的生产生活密切相关,所以也得到了人们的广泛重视。水利工程是其中非常重要的一个类别,在举例来说,小浪底、三峡都是鲜
摘要:20世纪70年代以来,国外许多学者聚焦于电视广告中性别角色定型的研究,取得了丰硕的研究成果。本文拟从理论基础、分析维度、前景展望等三个方面对国外电视广告中性别角色定型研究进行总结梳理,以期吸引更多研究者的兴趣和关注。  关键词:性别角色定型 电视广告 研究概况  2008年9月,欧盟议会以压倒性票数通过了对广告中的性别角色定型的非约束性报告——《营销和广告如何影响男女之间的平等》。该报告指出
我国的淡水资源虽然总量储备很足,但是因为各种原因,人均占有量却不足其他国家平均水平。我国是世界上最为短缺的国家,尤其是华北与西北地区与西北地区,水资源上的短缺让这些的地
我国的公路修建技术逐渐成熟,在对新型公路建设技术以及已有的公路修建经验的支持之下,施工人员可以根据作为修建对象的公路的等级来选用完全不同的施工方法,也可以在规模较大的