面向海量异构历史数据查询的索引管理系统

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:chengzi1022
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,海量数据每时每刻都在涌现并快速增长,并且数据种类极为丰富。随着时间的流逝,这样的海量异构数据在顷刻间便会成为历史数据而积累。在众多行业中,对于历史数据的查询业务量正在日趋增长,因此海量异构历史数据查询平台的开发已成为各大软件公司的新兴开发目标。在该混合查询平台之上,本索引管理系统的开发可有效地对该查询平台中各类索引进行管理和维护,从而提升海量异构历史数据的查询效率。本项目来源于本人在实习期间参与的混合数据查询平台的开发项目,该项目目标是对公司数据库产品进行功能扩展,以支持海量异构数据的查询。期间本人借助索引机制提出了对海量异构历史数据查询的效率提升方案,即索引管理系统,本项目主要包括以下四部分内容。索引管理系统的原理分析。对索引技术、DB2和MongoDB数据库中的索引类型及用法、Hybrid架构等技术进行了原理介绍与分析,并对JSONVal()这一混合查询函数进行了说明,并对索引建立与维护相关技术进行了整体分析。索引管理系统的设计与开发。本文首先对混合索引的建立过程进行设计,然后逐一对五大功能模块进行设计,其包括:SQL解析模块、索引分析模块、索引建立模块、Queryset管理模块及索引维护模块。通过模块间的交互与合作,实现了对用户查询语句的解析、对索引类型的分析、对不同数据库中不同种类索引的建立、对Queryset的管理,以及对当前系统索引的维护等功能。本系统采用Java编程语言进行系统实现,并选取DB2和MongoDB数据库实现异构数据的持久化。此外,用户还可通过控制台界面对系统的各个功能进行操控。索引管理系统的应用场景设计与开发。医生工作站是将本系统结合了医疗场景的应用开发。在该场景中,可采用含有业务意义的查询语句,通过SQL及SQL-like的方式进行混合查询,并管理和维护该场景下的索引。索引管理系统的性能测试。在医疗场景下,借助于场景中的具体查询业务及相关数据,对索引系统进行性能测试,测试结果表明索引管理系统可大幅提高数据查询效率,从而验证了该索引管理系统的有效性。本项目开发于IBM中国开发中心完成,该项目来源真实,意义深远。最终,本系统与医疗场景的结合验证了其性能和有效性,得到了实习公司的认可。
其他文献
“民以食为天,食以安为先。”食品安全是关系到国计民生的大问题。但近两年,中国食品安全问题频繁发生。这一次又一次的食品安全事故的背后,是对无辜消费者的伤害。何时消费者主
资产证券化是世界金融领域非常重要而且发展迅速的直接融资创新产品之一,资产证券化的目的在于将缺乏流动性的资产(含债权)或资产组合再次包装出售,提高资产流动性和资金运作效率
随着航空事业的快速发展、空中流量的持续增长,基于RNP的导航方式将成为未来民航的发展趋势。因此,本文针对民航RNP导航方式下的精度要求,研究导航综合系统信息的融合技术;针对RN
本文分为三个部分,第一部分主要依托温州温州动车事故个案及信息传播过程,关注网络、报纸、杂志上动车事故的相关信息,并将其信息诉求主体对应于国家、媒体和民众三个方面,对
随着全球济一体化的持续发展,国际经济竞争正逐步由资本竞争演变为高科技技术竞争,在国际产业分工发生重大变化的大背景下,新产业,新技术对产业分工格局发生重大影响。合规认
时间与人们的生活密切相关,人们将利用无线电波播发标准时间信号的工作称为授时。从故至今人们在不断地探索获取时间的新方法,从最初以声音为媒介的晨钟暮鼓发展到使用光信号的
如今正处于新医改政策进一步深化的大背景下,使得公立医院无论从管理体制还是经营活动,都必须谋划出一条适合发展的新的道路。在这样的情况下,公立医院的人力资源管理便成为了首
与三维计算相比,S2流面计算因为其计算时间短,精度高在叶轮机械领域一直占有很重要的地位。而S2流面计算的准确性很大一部分程度上依赖于损失模型的应用。这些年来Martelli&Bor
随着社会工作机构的日益发展,社会工作机构中的公共关系的发展也成了新兴的被人们所关注的问题之一。而在社会上,关于第一部门政府、第二部门营利性组织的公共关系研究成果有很
本文以宁夏自治区青铜峡灌区为例,选择典型排水沟渠建立了青铜峡灌区农业非点源污染典型试验区,于2009年开展了排水沟渠农业非点源污染监测试验,对典型排水沟渠中氮、磷等非点源