基于多路集成网络的多标签视频分类算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:jerryfong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着腾讯视频、优酷和爱奇艺等视频网站近年来的蓬勃发展,对视频的精确检索、分类以及个性化推荐等需求变得日益迫切起来。目前,对视频的自动分类大多数是根据上传视频的标题或者字幕等信息来分类的,技术的限制使得分类时往往遗漏了视频的真正内容。近年来,图像领域深度学习算法飞速发展,促进了视频分类技术的更新换代,使得基于视频内容的视频自动化分类成为了可能。本文利用深度学习强大的特征提取能力,直接从视频的内容着手对视频进行多标签分类,针对视频的固有特点,本文的主要工作包括以下几点:1)迁移多个文本特征提取算法应用到视频时序特征提取。视频和文本都由图片(即帧)和词语组成,都存在关键帧和关键词。与文本不同的是,视频相邻帧相似,所以本文在迁移算法的同时,还做出了相应的优化,使得算法能更好地提取视频时序特征。2)改进C-LSTM特征提取网络,结合Bi-LSTM和Attention机制以提取视频关键信息。现实中,视频信息较为冗余,可能只有小部分视频对分类起关键作用,还有大量片头片尾,切换镜头等噪声需要去除。通过结合Attention机制,模型对视频内容给予不同的权重,以达到提取关键信息的效果,从视频中提取更有区分度的分类特征。3)改进时序分割网络(TSN)以适用于多标签视频分类。本文通过提出多种互补采样策略,在减少视频冗余信息的同时,尽可能地保留重要信息;基于Bagging的思想,本文提出结合混合专家模型的集成策略,在单个模型中通过共享参数,多路集成,最后达到Bagging的效果,提高视频分类性能,避免训练多个模型。最后,本文通过一系列的实验,证明了本文改进的视频时序特征提取器(C-Bi-LSTM Attention)和多路集成网络(MpEN),在视频的多标签分类数据集上取得了更好的性能。
其他文献
高压直流输电工程在我国得到大范围应用的同时,其复杂多变的电气特性和灵活迅速的控制特性也为电网的安全稳定运行带来了挑战。换相失败作为直流系统最常见的故障之一,将对基于传统交流特性的保护策略造成影响。因此,本文围绕交直流系统中交流线路故障引发换相失败场景,对交直流互联系统中换相失败的识别方法、交流线路保护、自适应重合闸方法进行了研究,此外还对直流输电线路的故障重启策略进行了研究,仿真结果验证了方法的正
偶动画艺术风格就是偶动画作品在整体上呈现出的具有代表性的面貌。风格不等同于一般的艺术特色,是通过偶动画所表现出来的相对稳定、能够反映出时代与民族或者艺术家思想与审美的内在特性,其本质是偶动画艺术创作者对人偶动画审美独特且鲜明的表现,存在无限的丰富性与可能性。由于动画创作者的生活经历、艺术素养与情感倾向的不同,所以每个人的审美也不尽相同,审美的形成受到时代、社会、民族等各方面条件的影响。近几年大热的
当今社会,社交网络已经变成了人们在线交流互动的一种主流方式之一。用户在一些较受欢迎的社交网站(如脸谱网,推特,新浪微博)平台耗费了许多的时间,存储、分享了很多的个人信
射频识别(Radio Frequency Identification,RFID)技术可应用于物联网(Internet of Things,IoT)领域,在身份识别、物流追踪以及智能传感等方面发挥重要作用,已成为学术界研究
随着信息技术的发展,人们对于超高清视频的需求日渐加深。HEVC作为下一代超高清视频编解码的标准,其具备广泛的应用前景。HEVC是在H.264/AVC的基础上制定产生,与以往编码标准
无线网状网(WMN)是一种多跳、自组织的无线宽带接入网络,具有良好的健壮性,结构灵活和易于部署等特点,以及不依赖于基础设施的特性,广泛应用于应急通信系统和军用的战术通信
随着科技的日新月异及全球化进程的不断推进,各国间政治、经济、文化等领域的交流日益频繁,对科学技术的发展产生了进一步革新的要求,随之对交流效率和质量的需求也进一步提升。针对这些需求,科技翻译就成为了为之架桥铺路的重要一环,以确保中外交流中最直接的一环能够顺利对接。因此,近年来,科技翻译吸引了若干学者和译者的研究与探讨,极大地推动了中国翻译行业的蓬勃发展。此翻译实践报告是译者围绕介绍印度尼西亚地区地质
IP的发展已经很多年,除去IP本身已经存在的价值,其已经被引申为可供多领域开发的文化产品。而对文化产品展示和传播过程中,使用最多的方式还是图片的展示形式,但是由于图片的格局、内容和文化表达都比较局限,使得消费者对展示的产品背后文化不能够完全了解。而VR影像技术的进步和发展,其沉浸感、交互性、主动性的特点,能给现如今产品不同的新创意思路。本文首先探究近几年IP产业商品衍生化、产品化的趋势,并针对消费
制造物联网是物联网技术同制造业深度融合的新型制造模式和服务模式,它可以提升我国制造企业的竞争力和影响力。这种模式在发展过程中仍然存在许多挑战,如在网络传输方面,资
随着数字信息化时代的发展,全球数字信息资源日益庞大,大数据已经渗透到各行各业,成为非常重要的生产因素。由于海量数据的高效处理要求与处理成本之间的矛盾关系,从而产生了