受到人体行为多样性与所在环境复杂性的影响,单一表示级特征在描述视频中行为内容方面具有局限性,多种表示级特征的提取方式与融合效果成为制约特征组合判别性的一个重要因素。同时,在表示级特征组合的分类阶段,依据极限学习机原理训练的分类网络具有较差的鲁棒性。当多变的动作结合复杂的背景导致视频数据中存在大量干扰信息时,整体方法的识别性能会受到显著影响。针对单一特征表示内容信息不充分、多种特征串联组合判别性低与传统极限学习机分类网络对干扰信息敏感的问题,本文从特征分布信息提取方法入手,对行为识别过程中不同表示级特征的加权融合与极限学习机网络权重鲁棒性差问题展开研究。具体研究工作如下:首先,针对特征之间分布信息利用受限问题,提出蕴含图像中局部位置分布信息与全局轮廓信息的两种特征表示方法。考虑仅依据欧氏距离衡量视觉单词编码贡献系数的局限性,在编码方法的目标函数中结合视觉单词与描述符特征之间的模长差值与夹角约束,推导双重约束编码方法。根据两种信息的表示方法,结合系数分层加权与双重约束编码生成词组特征,实现视频空间中特征分布信息的编码利用。其次,在词组特征的基础上,针对按列展开会破坏金字塔网格中区域结构信息的问题,重新划分金字塔视觉直方图,构建单个视觉单词的三层级空间分布模型。利用三层级独立训练的方式,将各层级分布图结合自编码器的原理训练局部与全局感受野,提取自编码卷积特征。通过串联词组特征与卷积特征建立自编码感受野网络结构,以补充词组特征中缺失的金字塔模型各区域之间的结构信息。再次,针对自编码感受野网络不具备加权融合词组特征与自编码卷积特征的能力,影响特征组合整体判别性的问题,根据整体递推训练的方式构建三隐层加权学习网,利用隐层之间的隔层直连相加运算实现特征的近似加权。在此基础上进行简化,并根据分步独立训练的方式构建三隐层融合极限学习机,利用隐层之间的隔层直连点乘运算进行特征加权。通过实验比较,分析综合性能最优的特征融合网络模型,为提高词组特征与自编码卷积特征的融合分类正确率提供保障。最后,针对特征融合网络中各层权重易受干扰信息影响的问题,在权重训练目标函数中引入相关熵约束条件,利用拉格朗日乘子法求解满足最小化约束条件的循环更新公式。针对其网络适用性差与训练时间久的缺点,构建隐层特征分布之间的模长差值与夹角矩阵来约束目标函数,推导非迭代的双重约束权重更新公式。通过对特征融合网络中各层权重进行双重约束更新训练,增强网络整体鲁棒性,实现进一步提高整体方法对复杂背景下多变人体行为的识别正确率的目的。