复杂行为分析是视频分析的重要内容之一。复杂行为过程往往包含了多种时序动作,时序动作之间存在着相互关系。时序动作是复杂行为的重要组成部分,在复杂行为识别领域承担着分析和解释行为过程的任务,在监控视频分析,人机交互,视频内容检索等任务中有着重要应用。现有的各种模型已经能够对简单行为进行很好的分析和识别,但是针对复杂行为分析,仍然存在着较多局限性:(1)当前对复杂行为的识别大多局限于在底层特征分析的基础上,难以解释行为过程;(2)复杂行为中的简单动作难以明确定义;(3)与简单行为相比,复杂行为各个简单动作之间包含了更多背景冗余信息,严重干扰有用信息提取。本文通过分析行为任务基本特征,结合复杂行为由多种简单动作构成这一基础特性,重点解决复杂行为分析中的以下几个难点:一、在缺乏简单动作标记的基础上如何学习复杂行为中的简单动作;二、如何学习合理的行为时序结构关系来解释行为过程;三、当视频行为中存在着较多背景和噪声信息时,如何去除噪声获得更加鲁棒的行为表达,并将其用于视频分析任务。针对上述难点,本文主要工作如下:(1)针对如何学习合理的行为时序结构关系来解释行为过程的问题,本文将行为时序结构关系挖掘与Grenander模式理论相结合,分析行为动作基元独立性,以及动作基元之间的时序结构关系;采用模式理论拆分重组操作剔除不可信基元,并合并关联紧密基元;在概率框架下根据动作基元的时序连接关系重组行为动作基元时序序列,通过最大化时序结构获得最优行为时序表达,从而利用简单序列匹配算法实现行为识别。(2)针对缺乏简单动作标记下难以有效学习复杂行为中简单动作的问题,本文采用无监督方式学习行为动作基元的中层表达,挖掘行为动作基元的隐语义,从而实现行为过程的层次化分析。(3)针对视频定位任务中冗余和噪声信息干扰导致难以完全定位动作的问题,本文对行为动作实例的动作基元序列进行学习,分析动作基元之间的时序关系,实现对动作实例的时序建模,通过基元重组过程重构动作实例,并分析基元特性差异,实现行为动作实例完全时序定位。