人体行为识别是计算机视觉领域最活跃的课题之一，它通过图像处理、模式识别等方法，对图像或视频数据进行处理分析，从而建立底层数据和高层语义理解之间的联系，在人机交互、智能监控等领域有广阔的应用前景。基于时空兴趣点的行为识别方法是目前较为流行的方法，它通过检测像素值在时空邻域有显著变化的兴趣点并从中提取底层特征对行为建模。由于时空兴趣点提取的是局部特征，不易受视角变化、部分遮挡等影响，使这一方法具有较好的鲁棒性。本文采用时空兴趣点方法解决运动背景下的人体行为识别问题，主要做了以下工作：提出了新的兴趣区域提取方法。本文的兴趣区域包括光流场在时间域的变速区和空间域的散度场、涡量场、运动边界，这些区域有明确的物理意义，可以反映前景的运动特征。另外为了增强算法的鲁棒性，将图像轮廓作为光流兴趣区域的补充，用阈值控制二者的影响，获得最终的兴趣区域。在兴趣区域内检测兴趣点可以有效抑制运动背景的影响。提出了基于兴趣点光流轨迹的多特征融合方法，包括点轨迹/HOG/HOF/MBH特征描述子。它们表现了兴趣点邻域的表观形状信息、局部运动信息和相对运动信息，有很好的区分能力并对运动背景有一定抑制能力。采用词袋模型为行为建模，在词典构建时采用了二次聚类，先用K-均值聚类，这是基于兴趣点表观相似性的聚类，然后进行最大互信息聚类，这是基于兴趣点与行为相关性的聚类。两次聚类可以有效提高码本质量，得到更紧致、更有区分能力的词典。实验表明，本文方法可以有效提高运动背景下的人体行为识别正确率。