结合邻近度的语义位置语言检索模型

来源 :江西师范大学 | 被引量 : 0次 | 上传用户:chenyanzhao12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在过去的几十年间,许多经典的模型在信息检索领域诞生,诸如布尔模型、向量空间模型以及概率模型等。1998年,Ponte和Croft首次将统计语言模型应用于信息检索,并且提出了查询似然语言模型,近十年来该模型得到了快速的发展。随之国内外许多学者都加入了这个领域的研究,在大量的研究实验基础上,研究者们又陆续的提出了隐马尔科夫模型,统计翻译模型,风险最小化模型等。但研究者所提出的大多数检索模型都仅使用了词在文档中的频率这一特征,而未考虑文档中词与词之间的位置关系。基于这点,Lv和Zhai提出了一种位置语言模型,该模型细微到对每个词项位置建立一个语言模型。随后在位置语言模型的基础上,余伟和王明文对其做出了改进,提出了一种结合语义的位置语言模型(SPLM),并成功应用于信息检索。该模型的检索模型部分直接应用了插值(Jelinek-Mercer)平滑,但并未在检索当中考虑查询词项的位置信息,依然存有缺陷。因此本文在他们的工作基础上进行了改进。近年来的研究表明应用查询词项匹配在文档中的位置信息可以提高查询结果的准确性。如何更好地刻画查询词在文档中的位置信息并建模,是研究提高检索效果的问题之一。本文在结合语义的位置语言模型(SPLM)的基础上进一步考虑了词的邻近信息,并给出了用狄利克雷先验分布来计算邻近度的平滑策略,提出了结合邻近度的位置语言检索模型。具体来说本文的主要工作和创新点如下:1)首先考虑对比了多种不同的核函数,并最终决定采用高斯核函数来度量原有模型中的位置关系,并给出了邻近度计算模型的与语言模型的融合思想。2)搜索结果排序是信息检索中的基本问题,基于概率统计学以及线性级算法复杂度相关理论,提出了一种结合邻近度的位置语言检索模型。本文根据邻近度与语言模型融合的思想,给出了邻近度信息与狄利克雷平滑的SPLM检索模型的结合方式,进一步系统的对比了结合语义的位置语言检索模型与结合邻近度的语义位置语言检索模型的性能差异,并区分对比了狄利克雷先验分布平滑与SPLM模型中JM平滑的效果。3)通过实验表明,本文提出的检索模型在检索性能方面要优于结合语义的位置语言模型。本文也进一步对模型中的参数进行了敏感度分析,并且对比了不同的邻近度策略,且对不同邻近度结合方式的模型进行了算法复杂度的分析。
其他文献
迁移工作流是基于移动计算范型提出的一种新的工作流研究方向。工作流业务过程根据业务目标的复杂程度被映射为一个或多个迁移实例,每个迁移实例执行一个目标相对独立的子业务
利用快速发展的网络技术实现信息资源的高效利用,其可行性及迫切性已经被广泛认同。P2P技术作为一个新的研究领域,具有广阔的应用前景。现有的P2P应用系统并没有充分发挥其性
空间表达式的识别与分析来源于国家自然科学基金资助项目“基于Ontology的文本中空间关系三维可视化”,是该项目自然语言处理部分的第一步。在空间关系三维可视化的过程中,包
数据挖掘是指从大型数据库或数据仓库中提取隐含的、先前未知的、对决策有潜在价值的知识和规则。它是人工智能和数据库发展相结合的产物,是目前国际上数据库和信息决策系统的
随着传感技术、通信技术和计算机技术的飞速发展,无线传感器网络作为一项新型的信息技术日益受到国内外的高度重视,被广泛应用在军事侦察、环境监测、医疗监护、空间探索、城
电力行业是国民经济的支柱产业,所以实现电网信息化对提升工作效率和改进工作方式意义重大。随着电网信息化要求的不断提高和新业务需求的不断增加,接入智能电网的设备种类越来越多,所以安全接入平台不仅要满足工作人员在使用过程中的快捷、便利,同时还要保证内网数据的安全性,这就要求对接入设备进行安全接入和实时监控,这样才能有效地保护内网数据安全性并为各业务部门提供方便、快捷的服务。本文为智能电网设计了一个有效的
近年来,无线传感器网络中的能量补充技术在学术界和产业界受到广泛关注。根据能量来源的不同,现有的能量补充技术可大概分为两类,一类利用外部环境的可再生能源,如传统的太阳能、
无线传感器网络越来越多的被部署到医疗、灾害管理等数据密集型业务之中,这些业务经常因为无线通信信道繁忙而受到严重的干扰。对遭受干扰的节点的性能进行精准刻画对拥塞控制
虚拟现实(VR)是一种高度逼真地模拟人在自然环境中视、听、动等行为的人机界面,它综合了计算机图形学、图像处理、传感技术、多媒体技术、网络技术等多门科学。三维实体建模技
顶板事故作为煤矿的主要安全事故给国家财产和人民的生命安全造成了巨大的损失和威胁。据国家有关部门统计,我国煤矿发生顶板死亡事故占煤矿死亡事故的40%~50%,其中80%发生在采场,工