注意力模型及其在视频描述生成中的应用

来源 :天津大学 | 被引量 : 0次 | 上传用户:zqqzqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
建立视觉内容和自然语言之间的语义联系,是多媒体分析和计算机视觉领域的重要难题之一。近年来,深度学习的发展为该问题的突破提供了强大的技术支持。视频作为连续的视觉表达,包含复杂丰富的信息,其时序和空间结构是视频内容理解的核心。目前基于深度学习的视频描述方法,设计了不同的深度网络来建模视频帧以及其帧序列上的时序和空间关系。不同于前面的方法,本文重点研究了注意力模型在视频描述任务上的应用,并介绍了两种视频描述方法,希望在生成视频描述的时候自动地关注到一些重要的视频区域或视频片段。本文介绍的第一种视频描述方法考虑了视频帧序列上的显著性片段。该方法在语言模型上引入注意力模型,对每个时刻的预测单词适应性地选择生成该单词所需要关注的视频帧子集。本文在常用的视频描述评测集MSVD上对该方法进行了评测,证明了时序注意力在视频描述问题上的有效性。在第二种方法中,本文考虑了单个视频帧上的感兴趣区域以及这些区域特征序列间的时序依赖关系。为了实现该目标,本文用全局特征作为单帧视频的指导信息,使用注意力模型来选择视频帧上的感兴趣区域。此外,本文设计了多重记忆的循环模型来分别融合全局和感兴趣区域特征的时序依赖关系,构造更具辨别能力的视频表达。同样地,本文在MSVD和M-VAD数据集上对该方法进行了评测,证明了该方法的有效性。
其他文献
主要从专业人才新型化、人才结构多样化和"官产学研"深入化等三个层面提出了我国在第三次工业革命背景下的人才培养对策建议。
<正>习近平总书记的"七一"重要讲话,通过"三大历史贡献""三大历史启示""三个坚持不动摇",全面回顾了我们党95年来团结带领全国各族人民不懈奋斗走过的光辉历程和作出的伟大历
在当前我国的企业发展中,有很多大型企业为了满足市场的变化和自身的发展,成立了诸多子公司,子公司对大型企业的发展起到了积极的促进作用。近年来,市场经济和外部环境的不断
卫生部4月22日公布66项新乳品安全国家标准,包括乳品产品标准15项、生产规范2项、检验方法标准49项。新的乳品安全国家标准基本解决了现行乳品标准的矛盾、重复、交叉和指标设
为了研究不同草本植物间作对空心菜Cd吸收效果及污染土壤中Cd移除率的影响,采用盆栽试验,以空心菜茎叶Cd消减率与土壤中Cd移除率为主要指标,研究了空心菜在Cd污染土壤中单作
卵粘蛋白是蛋清中含量较丰富的一类高分子量硫酸酯糖蛋白,对维持蛋清浓厚蛋白组成、蛋清的凝胶特性以及气泡稳定性具有重要作用。近年研究表明,卵粘蛋白还具有抗菌、抗病毒、
针对我国合成着色剂标准样品严重缺乏的现状,研制了食品安全质量控制急需的玫瑰红等色素国家标准样品,填补了国内空白,为加强食品安全质量控制、完善我国国家标准技术体系建
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
目的:探讨磺胺嘧啶银治疗压疮的临床疗效。方法:回顾性对用磺胺嘧啶银的治疗组(20例病人25处压疮).与采用传统方法治疗的对照组(18例病人21处压疮)进行疗效比较。结果:治疗组的疗效明