论文部分内容阅读
基于视觉内容相似性的视频片段定位作为视频内容智能分析的一项关键技术,能够辅助人们完成视频定位检索、挖掘等任务,在广告视频定位统计、视频版权追踪、网络视频检索等领域具有广阔的应用前景,是国内外众多学者研究的一个热点。针对视频片段定位的相关研究,多集中在增强算法对各种拷贝变换攻击的鲁棒性方面,而对于如何提高算法执行效率的研究相对较少,尤其在目标视频为未分割长视频情况下,尚缺乏有效的快速定位算法。
本文围绕目标视频为未分割长视频情况下的视频片段快速定位问题,根据全拷贝视频片段定位检索、部分拷贝视频片段定位检索、重复视频片段定位挖掘三种不同应用场景的具体特点,分别对其快速定位算法展开了深入研究。本文的主要贡献包括:
针对全拷贝视频片段定位检索问题,提出了一种基于时空灰度序特征的全拷贝视频片段定位算法。该算法的核心思想在于:(1)在精确定位之前,通过引入线性时间复杂度的基于时空二值模式直方图特征的实时预定位算法以及基于二值时间灰度序特征的快速预定位算法,大幅减少了精确定位阶段需要处理的候选视频片段的个数;(2)在精确定位阶段,通过引入一种判别能力更强且保持较好鲁棒性的时空统一灰度序特征进行序列匹配,在保持较高召回率的前提下,进一步提高了全拷贝视频片段定位的精度。实验结果表明该算法对于存在轻微拷贝攻击下的全拷贝视频片段的定位检索问题,在进一步提高定位检索精度的同时,大幅减少了定位检索的平均响应时间。
针对部分拷贝视频片段的定位检索问题,提出了一种基于时空约束极大连通区域的部分拷贝视频片段定位算法。该算法的核心思想在于:(1)在精确定位之前,根据视频片段仅为部分拷贝的特点,引入了基于局部二值模式直方图部分匹配的预定位算法和基于最长公共子串的预定位算法,对候选视频片段进行快速预过滤;(2)在精确定位阶段,通过引入对时序编辑鲁棒的时空约束极大连通区域检测查询视频片段与候选视频片段之间视觉内容相似度和时序相似度较高并且关键帧序列匹配长度较大的所有拷贝视频子片段,然后进一步利用时序约束关系选择合适的视频子片段组成最终的部分拷贝视频片段。实验结果表明该算法能够很好的解决存在轻微拷贝变换攻击情况下的部分拷贝视频片段定位检索问题。
针对重复视频片段的定位挖掘问题,提出了一种基于空间约束灰度级矩阵与类哈希索引结构的重复视频片段定位挖掘算法。该算法首先利用计算复杂度低且判别能力强的空间约束灰度级矩阵特征表示视频关键帧;然后,将近似重复视频关键帧检测问题转换为类哈希索引结构的构造问题;最后,利用类哈希索引结构保存的近似重复视频关键帧和时序约束信息,在线性时间复杂度内完成连续近似重复视频关键帧的合并,实现重复视频片段的定位挖掘。实验结果表明,该算法能够在保持较高定位挖掘精度的同时,显著提高重复视频片段定位挖掘的执行效率。
结合广告视频定位统计、内容审核等方面的具体需求,在广告内容审核系统中应用本文上述三项关键技术,能够实现为指定广告、指定电视台或某些违反广告播出条例的情况提供监管服务,以及为系统管理人员提供广告新模板发现等服务。