大规模动态演化图的在线存储系统研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:gongshan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在图挖掘领域,动态演化图挖掘与分析的价值受到了越来越多的重视。数据挖掘的首要任务是获取并存储数据,但现有的图存储与查询平台都是针对静态图的,并不能记录图的时序演化过程。因此,本文研究了演化图的优化存储模型和检索方法,设计实现了一个能够支撑大规模动态演化图在线存储的系统。该系统能够以近实时的方式捕捉图的整个演化过程,并提供良好的查询能力。论文的主要工作如下:  通过研究动态演化图的基本理论及其经典的表示模型,基于日志文件模型与邻接表结构,设计了一个存储冗余度与查询性能综合较优的存储模型。针对该模型在快照重建阶段存在的性能瓶颈问题,提出了基于日志消解的优化重建方法。  同时,针对在线社交网络平台中普遍存在的局部查询请求,提出了一种基于重建局部查询视图的优化检索方法。该方法基于1度Ego网络来构建查询视图,尽可能地减小检索快照的重建规模,从而间接地提高此类查询的响应性能。  为了能够以近实时的方法获取某些高速更新网络的演化过程,设计了一种基于哈希分组的并行更新算法来加快图更新的速率。该算法通过限制顶点移除与边增加这两个事务的并行执行来保证图更新过程的一致性,同时严格约束实时图查询事务与图更新事务的先后次序来保证查询结果的正确性。  在完成上述理论研究的基础上,设计并实现了一个大规模动态演化图的在线存储系统—DynamicGraphDB,并利用LRU算法解决了系统在运行过程中存在的大图缓存溢出问题。  为了验证理论研究和系统设计工作的正确性和有效性,本文使用真实的Twitter和DBLP数据集模拟了现实世界中的网络演化过程,从演化图存储与查询的正确性、存储效能比、图更新操作的吞吐率、局部查询视图的规模与查询时延等五个方面进行了详细的实验评测。结果表明,优化的存储模型不仅能够正确地存储与查询演化图,同时相较经典日志文件模型的实现,在存储效率和查询性能方面具有更好的综合优势。整个系统经过基于哈希分组的并行更新算法优化后,在多核计算机上能够取得明显优于单线程顺序更新策略的吞吐率。而针对在线社交网络平台中广泛存在的局部查询请求,基于重建局部查询视图的快照检索策略能够有效地降低查询视图的重建规模,从而间接地提高了此类查询的响应性能。
其他文献
随着科学技术以及互联网的不断发展,全球信息总量爆发性增长,人们进入信息时代,海量的数据不断产生,信息超载问题越来越严重。这些数据信息数量庞大,增加了人们获取所需信息的困难
机车检修是机务段组织运输生产活动的基础,是机车正常运行的有力保障,对提高机车运用效率有着重要的意义,因此提高机车检修质量和管理水平,强化机车检修质量过程控制成为保证机车安全生产活动和提高机车运用效率的关键,因此建立和健全现代化的机车检修系统是一项重大的任务。机车检修系统是为了满足机车检修生产规范化、程序化、信息化的需要,以检修生产管理和检修生产过程为主线,达到机车检修质量控制为目的,为领导决策提供
语义Web服务是一种具有良好前景的技术,它采用机器可理解方式来描述Web服务自身的功能,从而提供Web服务之间的互操作。随着面向服务计算体系架构(Service Oriented Architecture
[摘 要] 高校教师具有信息化教学能力是互联网时代教师职业能力发展、学生学习方法转变以及高等教育教学改革的必然要求。在信息化教学理念、教师信息化素养、信息化教学环境以及高校体制机制等方面,影响和制约了高校教师信息化教学能力的发展。高校应从转变信息化教学理念、构建信息化教学环境、完善教师信息化教学能力培训、建立教师信息化教学制度保障、形成信息化教学文化等多个方面,改善和提高教师信息化教学能力。  
[摘 要] 为了提高高校数学师范专业学生的师范技能,同时也为了满足《普通高等学校师范类专业认证实施办法(暂行)》的通知中关于实践教学的要求,本文从高校数学师范专业师范技能训练存在的主要问题出发,结合陕西理工大学数学与应用数学专业(师范)目前的师范技能实践开展情况,构建了数学师范专业师范技能训练体系,并对师范技能训练体系的实施展开研究。   [关键词] 师范专业认证;数学师范专业;师范技能训练  
[摘 要] 基于MOOC平台的在线开放课程为学习者提供了丰富的教学资源和素材,有利于创新教学模式,推动信息技术与教学改革的融合创新。目前,还存在内涵建设不够、技术支持不足等方面的问题。因此,有必要整合资源,集中力量,打造一支校校、校企、校地多维融合的复合型团队;线上线下,互为补充,依托在线开放课程建设创新教学模式;取长补短,着力建设新型的智慧在线开放课程。   [关键词] MOOC;在线开放课程
随着民众与国家对产品质量的日益重视,企业产品的质量直接影响到企业的生存与发展。然而,产品质量的评价需要大量数据对其进行支持和验证,很多大型企业都建立起了质量检测与