分布式RDF关键词近似搜索研究与实现

来源 :福州大学 | 被引量 : 0次 | 上传用户:l541306072
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着语义网的迅速发展,RDF(Resource Description Framework)格式的数据广泛应用于百科全书、地理信息、生命科学等领域。在海量数据的压力下,传统的RDF关键词近似搜索方法已不能满足需求,研究高效的大规模RDF数据的分布式关键词近似搜索方法势在必行。本文充分利用RDF本体的语义信息,结合Hadoop平台和Redis内存数据库提出一种分布式RDF关键词近似搜索算法,该算法具有较高的搜索效率和较好的搜索效果。借助Storm平台和DRPC(分布式远程过程调用),提出一种基于Storm的实时关键词近似搜索算法,解决了 Hadoop无法处理流式数据的问题,并且进一步提高了搜索的效率。结合某部队装备远程监控与故障诊断的应用场景,将本文的算法运用于实际项目中。本文的主要工作内容如下:首先,本文提出一种分布式RDF关键词近似搜索算法DKASR(Distributed Keyword Approximate Search algorithm for RDF)。该算法结合 RDF 的本体信息,构建关键词集合对应的本体子图,提出一种语义评分函数对本体子图进行评分排序,借助MapReduce计算模型实现分布式并行搜索,当返回的结果没有达到Top-k时,对本体子图进行扩展生成近似本体子图,使用语义相似度函数对近似本体子图进行排序,再利用MapReduce计算模型实现并行搜索,直到返回Top-k结果。接着,针对DKASR算法数据存储空间较大和无法实时搜索流式数据的问题,提出一种基于Storm的实时关键词近似搜索算法RKASS(Real-time Keyword Approximate Search algorithm based on Storm)。该算法提出一种分布式存储方案来存储流式数据,为了减少数据存储占用的内存,提出一种哈希编码压缩策略对RDF数据的前缀进行编码压缩,并构建对应的哈希映射信息,同时利用Storm实现数据的实时流入。并且在关键词映射匹配的时候,充分利用历史数据来跳过不必要的步骤,加快关键词近似搜索的进程。此外,借助Storm实现并完成本体子图的构建排序、近似本体子图的构建排序、结果子图的构建以及编码的反转,而且通过调用DRPC服务器即可轻松完成流式数据的实时关键词近似搜索。最后,将本文提出的算法运用于“微激光装备远程监控与故障诊断系统”中。分析项目中微激光装备故障案例数据的特点,使用本体构建方法构建项目的知识库,并在项目中实现高效的关键词近似搜索功能。
其他文献
随着云计算时代的到来,云端存储的数据急剧增长,因此云存储系统已经成为云计算中的一个关键要素。云存储中的海量数据,使得云存储系统必须面对一个问题:如何在保证数据的有效
随着互联网通信的发展,移动终端迅速普及,无线网络虚拟化应运而生,为下一代无线网络提供高效定制化的服务。移动终端业务请求的数量与种类不断扩大与丰富,使得无线资源和能量
本研究对184个的农村学生发放问卷、对典型案例进行访谈,通过对有效问卷的定性与定量分析,分析影响农村学生职业发展的相关因素,实证教育对农村学生职业发展的作用和影响,分
图像盲复原是指在点扩散函数未知或者已知部分信息的情况下,从观察到的退化图像中恢复出清晰原始图像,是一个病态逆问题的求解。在计算机视觉领域,去除图像模糊是一个具有挑
对于大数据处理平台而言,存储系统的设计对提高其性能至关重要。尽管研究人员已经提出了众多优化办法,但现有优化方法均根据系统设置,静态的为计算分配资源、对存储进行管理,
本文为一篇中译英翻译实践报告。本报告是根据作者所实习的公司提供的《机器人滚边技术概述》翻译项目进行分析与讨论。机器人滚边技术作为一项新型装配技术,极大促进了国内
给定一个文本串T和模式串P,字符串匹配就是从一个T中找到所有和P相同的子串。字符串匹配的应用涉及到生物信息学、文本编辑、模式识别、自然语言处理和搜索引擎等领域。随着
旋转式惯性导航系统是旋转调制补偿技术应用于捷联惯导系统而发展形成的,它可以在系统成本增加有限的情况下大幅度地提高惯导系统的精度。在结构层面,旋转式惯导系统相较捷联
多核时代的到来,处理器的运算能力得到了很大的提升.但由于处理器和主存之间的发展速度的不均衡,“存储墙”的问题越来越严重,成为影响系统性能的瓶颈。在多核体系结构下,多
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种典型的高分辨率二维雷达成像系统,具有全天时、全天候、高处理增益、穿透力强等特点,无论在军事领域还是民用领域都发挥着