一种基于Spark的语义推理引擎实现及应用

来源 :浙江大学 | 被引量 : 0次 | 上传用户:nidayedejb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年在知识图谱蓬勃发展的大背景下,与之相关的语义Web的数据规模也呈现爆发态势。如何在大规模语义Web数据上有效地进行语义推理是研究者们面临的棘手问题。具体来说,在大规模语义Web数据上实施语义推理时,计算量巨大、消耗时间长都是突出的问题,特别是当应用复杂规则逻辑进行推理时,情况更是如此。传统单机环境下的语义推理引擎无法应对大规模知识图谱下的推理,缺乏可扩展性方面的考虑,难以满足在数据规模上日益增长的语义关联数据的推理需求。从分布式角度来看,已有的基于Hadoop MapReduce实现的语义推理框架由于欠缺推理算法相关的网络通信和磁盘I/O等的优化,推理效率依然较低。本文针对上述问题,围绕分布式内存计算平台Spark,研究以下几个方面的内容:首先设计一个良好模块化且推理规则可配置的完整分布式推理引擎架构。接着研究现有的单机和分布式语义推理算法,基于Spark框架对相关算法进行分布式的实现,并针对Spark的原理和特点做相应的优化。将基于Spark实现的推理引擎与现有的传统分布式推理引擎在推理效率上进行对比实验。实验结果表明,本文设计的基于Spark的语义推理引擎在推理效率上要远好于以Hadoop MapReduce为代表的推理实现,同时兼具了高可扩展性。最终将本系统应用到物联网领域,适应实时和流式的语义数据流处理和推理场景。
其他文献
随着计算机技术的快速发展,智能交通系统成为了世界各国的研究热点,它是解决交通问题的一个有效办法,为交通管理的发展指明了方向。智能交通系统将先进的信息技术以及计算机技术
随着信息化程度的不断提高,海量的数据存在于实际的应用中。但海量的数据中往往存在大量的冗余,所以,剔除这些冗余可以大大提高数据的处理能力。作为一种处理不精确、不一致
随着互联网的飞速发展,随着手机、数码相机、平板电脑等移动设备技术的不断进步,越来越多的图像、视频等媒体不断涌入互联网并且持续传播扩散。面对如此大规模的Web图像数据,
计算机技术的出现,使得医学领域发生了重大变化,十九世纪五十年代计算机技术就已经应用在病历管理上,其后是财务管理、病房监护等等。而计算机成像技术快速发展,使得图像处理技术
基于视觉的手势识别技术以自然而又直观的人手作为输入方式,提供给用户更加和谐、自然的交互方式,它一直是人机交互的重要研究课题,具有广阔的实际应用前景。近年来,随着计算
随着大规模网络开放课程的飞速发展,在线教育这一全新的学习形式开始被越来越多的人所接受。用户通过互联网可以学习到各种领域的知识和技能,但随着在线课程资源数量的增加以
在大数据时代背景下,电子商务、第三方支付等线上业务爆发式增长,随之而来的是日益猖獗的线上欺诈案件,在线欺诈检测技术作为企业风控能力的基石,通过对业务行为建模,更加精
在实际应用中,数据集通常包含正常数据和离群数据,相对于正常数据而言,离群点的产生机制往往与之不相同,所以离群点可能蕴含着重要的信息,研究离群点的内涵知识具有重要学术意义和
制造工业产品缺陷的分析是改进企业产品制造过程的重要途径之一,对于产品质量以及营销收益有着重要的研究意义和应用价值。伴随计算机技术的快速发展、自动化系统的全面部署,
随着计算机技术的发展,计算机设备和网络设备变得越来越复杂。为了维护这些设备的安全稳定的运行,日志系统记录了这些设备的运行信息。但是各种设备的日志系统各不相同,它们