论文部分内容阅读
数字技术、多媒体的发展和普及衍生了多元化的信息形式,数字视频分析和数字图像处理作为对图像信息进行分析处理的技术,已发展成为科学研究和人机界面中的普遍应用工具,其中涉及的视频摘要和目标检测技术在军事、航空航天、生物医学、通信工程等领域具有非常广阔的应用前景。当前视频摘要技术的研究己取得很大的进步,专题摘要、多视频协同分析等方向正成为摘要技术发展的趋势,但仍然不能被视为完美。事实上,视频摘要研究技术缺乏一个通用的参考模型作为依据,如若要考虑不同用户需求、实际应用等情况,摘要结果往往大相径庭。目标检测在研究中还存在着许多的困难和挑战,比如同类别差异、视点变化、光照差异、遮挡问题以及复杂背景等因素的存在都加大了目标准确和快速检测的难度。通过对目前视频摘要和目标检测领域研究现状和算法进行分析并总结现有算法存在的问题,本文针对视频摘要生成过程中特征提取、视频分段、关键帧选取部分以及目标检测的一些方法进行较为深入的讨论分析,并提出了创新性的改进算法。视频摘要方面,根据视频图像视觉内容的复杂度和帧间差异,提出了一个视频帧相似性函数,在时间序列上描述相邻三帧图像差异提取特征,并将极值思想和三对角矩阵融合于该函数,减少计算量的同时也保留了最重要的图像信息;受启发于特征分析结果,提出利用高斯方法进行视频分割,得到长度不等的视频镜头,克服了等长分段内容失真的不足;生成视频摘要的关键帧提取部分,本文给出两种不同的方法:高斯方法和分离—合并方法。基于视频帧相似性函数和视频分割结果,高斯方法对.每个分割镜头特征函数值的高斯分布进行验证,从每个镜头选取函数值比较大的一帧,由于该类帧最能表征当前镜头,进而将该帧作为生成视频摘要的关键帧;分离-合并方法通过分离和合并两个步骤将每个镜头分类再聚类,自动确定关键帧的数量生成摘要。实验结果表明,利用高斯方法生成视频摘要时,计算量和内存占有量不仅得到了改善,而且提取的关键帧能够有效地概括视频主旨;分离—合并算法对视频镜头具有很好的检测效果,特别是对图像内容变化显著的镜头提取效果更佳,其不受局部信息的影响,能成功地检测全局镜头边界,并识别出分割帧。目标检测力面,首先对基于图论的图像分割理论进行概述,紧接着在对视频分割的最小割等算法理论分析的基础上,给出了一种基于区域图的智能目标检测方法,该方法是对基于区域的图像分割方法的改进。具体可概括为两个方面:提出新的图像特征表示方法,将颜色稀有和局部边界两个属性通过一个模糊函数整合,在YIQ颜色空间下提取图像特征,利用特征构造像素8-邻域关系图,并加入用户动作标识种子像素,最终实现交互式目标与背景的分割;改进基于图的目标分割算法,在用户动作硬性约束条件下,利用遗传算法优化区域图中作为软约束的评价函数,寻找图像的最优二值分割,得到全局优化的分割目标与背景,保证了颜色和边界的最佳平衡。实验表明基于区域图的智能目标检测方法对目标、背景的检测可包含多个孤立的部分,尤其是在处理多目标图像时效果更为明显;该方法检测的目标区域既具有很好的全局连通性又具有良好的局部连通性,对于目标关联性很强的图像,能够检测出连通的多个目标,对于多个目标分离的图像,也能识别出局部上孤立的目标区域,兼顾了全局和局部性。