基于哈希学习的跨模态检索研究

来源 :广东工业大学 | 被引量 : 3次 | 上传用户:skal1125
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息检索领域,随着移动互联网和信息技术的发展,多媒体数据呈现出数量多、数据类型丰富的特点,传统面向单一模态数据的搜索引擎和方法无法满足现如今用户对多模态数据检索的需求。面对海量异构的多媒体数据,基于哈希学习的跨模态检索技术具有计算效率高、占用存储资源小的优势,是解决大规模多媒体信息检索问题的有效技术手段。本文对跨模态检索领域中的鲁棒性哈希学习、多视角哈希学习、多模态语义挖掘和高效哈希学习框架等问题和挑战进行深入的研究和探讨,主要研究内容如下:提出一种鲁棒多视角相似嵌入的跨模态哈希方法。首先通过数据重构约束大幅减少数据在降维过程中信息丢失的问题,加强子空间学习的鲁棒性;其次,利用多视角学习,构造多模态数据的多视角相似矩阵,通过流型学习的方式将多视角相似性嵌入至低维表示中;最后通过离散的优化方式,大幅减小哈希码的量化误差。实验结果表明,该方法优于以往的跨模态哈希方法,具有良好的检索精度。提出一种监督型一致与特定模态映射的跨模态哈希方法。首先明确地将单一线性映射分解为多模态一致映射项和特定模态的映射项,分别挖掘多模态数据内部的语义一致性与单一模态内部的特殊性;其次,将类标签信息通过回归的方法嵌入至哈希码中,得到具有良好可区分性的哈希码,同时减低模型优化的时间复杂度。实验结果表明,该方法在训练时间和检索效果上优于以往的跨模态哈希方法,具有良好的实用价值。提出一种非对称的编码框架,将监督型一致与特定模态映射的跨模态哈希方法扩展至一个非对称的编码框架中,进一步提升哈希码的判别性。首先通过一致性映射和模态特定映射学习一个多模态离散潜在语义空间,然后通过非对称的编码函数学习多模态数据的哈希码。与以往方法不同的是,该方法将哈希函数和哈希码在同一个目标函数中同时迭代优化,并且优化的时间复杂度大幅低于以往的方法。实验结果表明,该方法在训练时间和检索精度上优于以往的方法。综上,本文从多个方面有针对性地设计不同的算法,提升了跨模态检索的准确性和检索速度,为实现高效、准确的跨模态检索提供了理论和技术支持。
其他文献
随着电网电压的不断升高和容量的持续增加,高电压等级的输电线路串补站和变电站内电磁兼容(Electromagnetic Compatibility,简称EMC)问题越发错综复杂。随着电力现场骚扰源的
园区场景中卫星信号缺乏的问题,使得GPS、北斗等卫星导航系统不能使用。园区中覆盖了 WiFi信号,这为园区场景中实现定位和导航系统提供了新思路。与具有视线(Line of Sight,L
迄今对大跨度桥梁的颤振研究很少考虑静风非线性效应的影响,而大跨度悬索桥在静风荷载作用下主梁会产生明显的附加攻角并改变结构动力特性,这些非线性效应对大跨度桥梁颤振稳定性的影响程度如何?目前尚缺乏深入研究。本文以深中通道伶仃洋大桥为工程背景,在传统的三维颤振频域分析理论上,发展了考虑静风非线性效应的三维颤振分析方法,并基于全桥气弹模型风洞试验进行了验证。本文主要研究内容如下所述:(1)建立伶仃洋大桥成
骨骼肌对于维持机体代谢稳态十分重要。血糖升高时,骨骼肌响应胰岛素刺激摄取葡萄糖增多,维持血糖稳定。作为Ras相关的小GTP酶家族成员之一,Rab5除了参与调控蛋白分选,在调节
近年来,随着自然语言处理技术的快速发展,聊天机器人受到了很多关注,并逐渐成为了学术界和工业界的研究热点。聊天机器人不断发展进步,应用范围不断扩大,人们对它也有了更高
机器人技术是国家创新力和竞争力的重要体现,是衡量制造业水平的重要标志。我国重点研发启动的“智能机器人”重点专项中指出:工业机器人和作业环境三维建模与可视化、运动仿
目的:采用基于后扣带回(the posterior cingulate cortex,PCC)为种子点的静息状态功能磁共振成像技术,分析不伴认知功能障碍及脑血管并发症的2型糖尿病(type 2 diabetes mellitus,T2DM)患者脑功能连接的变化,并探讨其脑功能连接异常的脑区与临床指标的相关性。材料和方法:收集27名T2DM患者(T2DM组)和26名健康对照者(health cont
实体关系识别是自然语言处理领域的经典问题,源于对非结构化数据进行结构化转化的需求,旨在根据给定的自然语言文本识别出实体对之间的语义关系,成为知识图谱、自动问答等下
张力腿平台(TLP平台)作为一种用于中深海石油开采的海洋平台,主要特点是通过张力筋腱系统将平台主体与海底桩基连接起来,从而限定平台纵向位移,使具有良好的稳定性。目前我国还没有TLP采油平台。论文主要工作是TLP平台张力筋腱连接器的设计和连接器承载部件的疲劳性能分析与试验研究。根据TLP平台张力筋腱连接器的实际工况受力分析,完成了张力腿平台张力筋腱连接器的结构设计。对张力筋腱连接器的承载部件(柔性体
太赫兹辐射能够穿透非金属和非极性材料,而且光子能量较低,在生物医学检测和空间遥感等方面具有广阔的应用前景。近年来,太赫兹成像技术一直向着成像质量和维数不断提高的方